Environnements Informatiques d`Apprentissage - PFIA 2015

Transcription

Environnements Informatiques
d’Apprentissage Humain
& Intelligence Artificielle
Deuxième journée EIAH & IA
Rennes, France, 30 juin 2015
Organisée avec le soutien de l’AFIA et de l’ATIEF
dans le cadre de la Plate-Forme Intelligence Artificielle 2015 (PFIA 2015)
Éditeurs : F. Bouchet, A. Cordier, V. Luengo & A. Yessad
Préface
Après le succès de l’édition de 2013 à Toulouse, l’AFIA et l’ATIEF ont organisé, le 30 juin 2015, une deuxième journée commune « EIAH & IA » centrée sur
la thématique de la fouille de données éducatives produites par les EIAH (Educational Data Mining). L’objectif de cette journée était de rassembler dans un
même espace-temps deux communautés, les chercheurs en Intelligence Artificielle
travaillant dans le domaine du data mining et ceux travaillant dans le domaine
des Environnements Informatiques pour l’Apprentissage Humain, pour dialoguer
et échanger autour de problématiques, de techniques, de concepts communs et
de partager des retours d’expériences.
Cette journée commune a été organisée durant la plateforme IA qui a eu lieu
à Rennes du 29 juin au 3 juillet 2015, et fut organisée autour de 3 axes :
1. une conférence invitée d’Agathe Merceron : « Educational Data Mining :
Methods, Tasks and Current Trends »
2. la présentation de travaux de recherche ou de retours d’expériences sur
l’utilisation et l’adaptation de techniques de data mining existantes ou la
proposition de techniques innovantes pour répondre à des problématiques
et à des besoins propres au domaine de la e-education.
3. une table ronde pour faire une synthèse des contributions de la journée
et tenter de dégager une feuille de route autour de thématiques porteuses
pouvant réunir les deux communautés.
Ces actes réunissent donc les quatre travaux de recherche présentés à cette
occasion, ainsi qu’un résumé de la présentation d’Agathe Merceron. Le comité
d’organisation remercie tous les auteurs ayant soumis leurs travaux à cette journée, ainsi que les organisateurs de la plate-forme AFIA pour leur assistance
logistique.
Le comité d’organisation
Comité d’organisation
François Bouchet (LIP6, UPMC, Sorbonne Universités)
Amélie Cordier (LIRIS, Université Claude Bernard Lyon 1)
Vanda Luengo (LIG, Université Joseph Fournier)
Amel Yessad (LIP6, UPMC, Sorbonne Universités)
Comité scientifique
Nathalie Aussenac-Gilles (IRIT, Université Paul Sabatier, Toulouse, France)
Monique Baron (LIP6, Université Pierre et Marie Curie, Paris, France)
François Bouchet (LIP6, Université Pierre et Marie Curie, Paris, France)
Anne Boyer (LORIA, Université de Lorraine, Nancy, France)
Thibault Carron (LIP6, Université de Savoie, Chambéry, France)
Amélie Cordier (LIRIS, Université Claude Bernard, Lyon, France)
Michel Desmarais (Ecole Polytechnique de Montréal, Montréal, QC, Canada)
Sylvie Despres (LIMICS, Université Paris 13, Paris, France)
Catherine Faron Zucker (I3S, Université Nice Sophia Antipolis, Sophia
Antipolis, France)
Philippe Fournier-Viger (University of Moncton, Moncton, NB, Canada)
Serge Garlatti (TELECOM Bretagne, Institut TELECOM, Brest, France)
Monique Grandbastien (LORIA, Université de Lorraine, Nancy, France)
Nathalie Guin (LIRIS, Université Claude Bernard, Lyon, France)
Jean-Marc Labat (LIP6, Université Pierre et Marie Curie, Paris, France)
Sébastien Lallé (University of British Columbia, Vancouver, BC, Canada)
Marie Lefevre (LIRIS, Université Claude Bernard, Lyon, France)
Dominique Lenne (Heudyasic, UTC, Compiègne, France)
Vanda Luengo (Université Joseph Fourier, Grenoble, France)
Nicolas Malandain (LITIS, INSA de Rouen, Rouen, France)
André Mayers (Université de Sherbrooke, Sherbrooke, QC, Canada)
Eunika Mercier-Laurent (IAE, Université Jean Moulin, Lyon, France)
Alain Mille (LIRIS, Université Claude Bernard, Lyon, France)
Roger Nkambou (Université du Québec à Montréal (UQAM), Montréal,
QC, Canada)
Jérôme Nobecourt (LIMICS, Université Paris 13, Paris, France)
Samuel Nowakowski (LORIA, Université de Lorraine, Nancy, France)
Céline Quénu Joiron (Laboratoire MIS, Université de Picardie Jules Verne,
Amiens, France)
Amel Yessad (LIP6, Université Pierre et Marie Curie, Paris, France)
PeTRA : un Framework de Traitement de Traces pour
l’Analyse de Connaissances Perceptivo-Gestuelles*
Ben-Manson Toussaint1,2, Vanda Luengo1
Université Grenoble Alpes, 38406, St-Martin d’Hères, France
Ecole Supérieure d’Infotronique d’Haïti, Port-au-Prince, Haïti
{ben-manson.toussaint, vanda.luengo, francis.jambon}@imag.fr
1
2
Résumé. Cet article présente un framework de représentation et de traitement
de traces multi-sources hétérogènes provenant d’EIAH dédiés aux domaines
impliquant des connaissances perceptivo-gestuelles. La capture de traces
perceptuelles et gestuelles dans un EIAH requiert l’utilisation coordonnée de
plusieurs périphériques. La difficulté adressée est celle de produire une
représentation cohérente des connaissances perceptivo-gestuelles à partir des
traces hétérogènes générées par ces périphériques et de faciliter la production
d’analyses didactiques et de services tutoriels sur la base de ces connaissances.
Notre cas d’étude est le simulateur TELEOS, un Système Tutoriel Intelligent
(STI) dédié à la chirurgie orthopédique percutanée. Le traitement des traces
recueillies sur les simulations réalisées par des chirurgiens du CHU de
Grenoble a permis d’analyser et de démontrer l’influence des perceptions
visuelles sur les erreurs liées aux actions et gestes exécutés au cours d’une
simulation de vertébroplastie.
Mots-clés. Systèmes Tutoriels Intelligents, traces hétérogènes, connaissances
perceptivo-gestuelles, traces oculométriques, modélisation des connaissances.
Abstract. This article presents our proposed framework for processing
heterogeneous multi-source traces recorded from Intelligent Tutoring Systems
dedicated to domains involving visual-gestural knowledge. The capture of
perceptual traces and gesture in simulated learning environments requires the
coordinated use of multiple devices. The challenge that our proposition
addresses is to produce a consistent representation of perceptual-gestural
knowledge from heterogeneous traces generated by these devices that fosters
learning analytics and/or tutorials services production congruent to this type of
knowledge. Our case study is the simulation-based ITS dedicated to
percutaneous orthopedic surgery, TELEOS. We demonstrated that the proposed
representation and treatment of traces collected from 9 simulation sessions
performed by surgeons of the Grenoble University Hospital, fostered the
analysis of the influence of visual perceptions upon erroneous actions and
gestures during vertebroplasty simulations.
Keywords. Intelligent Tutoring Systems, heterogeneous traces, perceptualgestural knowledge, eye-tracking traces, knowledge modelling.
*Une version modifiée de cet article a été soumise et acceptée à la conférence Environnement
Informatique pour l’Apprentissage Humain (EIAH) 2015.
F. Bouchet, A. Cordier, V. Luengo & A. Yessad (Ed.) : Actes des 2e journées EIAH&IA, pp. 1-12, 2015.
2
1
T. Ben-Manson & V. Luengo
Introduction
Une connaissance est dite perceptivo-gestuelle quand elle combine des actions et/ou
gestes avec des perceptions. Ces perceptions peuvent être auditives, tactiles ou
visuelles. Leur rôle est d’accompagner la décision d’exécuter ou de valider des
actions et/ou gestes. Cependant, les EIAH dédiés aux domaines impliquant des
connaissances perceptivo-gestuelles écartent souvent le côté perceptuel de ces
connaissances. L’une des raisons possibles est liée au fait que ces connaissances sont
souvent tacites et empiriques et de ce fait difficiles à capter et à modéliser. En effet, la
capture des connaissances perceptivo-gestuelles implique l’utilisation de
périphériques de détection des gestes et des perceptions. Par exemple, l’oculomètre
pour l’enregistrement de perceptions visuelles, le bras à retour d’effort pour les
perceptions haptiques, la technologie Kinect pour la reconnaissance de postures, etc.
L’inconvénient immédiat de l’utilisation de plusieurs périphériques vient de
l’hétérogénéité des traces produites. Pour produire des services tutoriels sur la base de
ces traces, le principal défi est de les transformer en séquences qui reflètent de
manière cohérente l’aspect perceptivo-gestuel des actions qu’elles représentent.
Le framework présenté dans cet article est une proposition d’approche de ce défi.
Notre cas d’étude est TELEOS, un Système Tutoriel Intelligent (STI) basé sur la
simulation, dédié à la chirurgie orthopédique percutanée. Les interventions
percutanées en chirurgie, aussi désignées sous le terme « interventions chirurgicales
mini-invasives », se réalisent à travers la peau du patient. Dans ce type d’opération, le
chirurgien ne dispose de quasiment aucune visibilité directe sur la progression de ses
outils. Il est guidé par des radiographies. Il valide ses gestes et actions sur la base des
contrôles visuels effectués sur des points précis de celles-ci. Le chirurgien adapte
aussi son geste selon le rendu haptique du contact des outils avec différentes parties
du corps du patient sur leur trajectoire. Par conséquent, la réussite d’une opération
requiert la maîtrise de la coordination des analyses visuelles des radiographies, des
connaissances anatomiques et de l’interprétation des résistances ressenties sur l’outil à
différents points de progression.
L’objectif de la présente étude est double. Il s’agit de proposer une représentation
de traces multi-sources hétérogènes en séquences perceptivo-gestuelles reflétant de
manière cohérente les connaissances mises en jeu, et d’analyser l’influence des
perceptions représentées dans ces séquences sur les performances de l’apprenant.
Dans l’expérimentation présentée, nous nous concentrons sur les perceptions
visuelles. La suite de l’article est structurée ainsi: la 2e partie présente des travaux
connexes sur la prise en compte des perceptions dans un contexte d’apprentissage; la
3e section décrit la méthodologie de capture des actions, gestes et perceptions pour
notre cas d’étude, TELEOS ; la 4e section décrit le framework proposé et le processus
de traitement des traces ; la 5e section présente les résultats de l’évaluation du lien
existant entre les perceptions visuelles des internes et leurs performances au cours
d’une session de simulation et la 6e partie, nos conclusions et perspectives.
Framework de Traitement de Traces pour l’Analyse de Connaissances Perceptivo-Gestuelles
2
3
Travaux Connexes
La littérature rapporte des travaux marquants sur la production de services didactiques
pour des EIAH dédiés à des domaines impliquant des connaissances perceptivogestuelles. Cependant, l’emphase est souvent exclusivement portée sur les actions et
les gestes. Par exemple, les perceptions visuelles en pilotage sont cruciales pour les
contrôles de l’état de l’appareil et des changements de l’environnement au cours d’un
vol. Pourtant, les services didactiques des principaux STI dédiés au pilotage se
concentrent sur les actions dans l’application des procédures de vol [10, 11]. Il en va
de même pour la conduite automobile [16, 17] quoique l’environnement dynamique
marque particulièrement l’importance des perceptions qui sous-tendent les décisions
relatives à l’exécution de certaines actions. Le travail le plus récent sur un STI
adressant des connaissances gestuelles est CanadarmTutor [3] conçu pour entrainer
les astronautes de la station spatiale internationale à la manipulation d’un bras
robotique articulé. Les apprentis pratiquent les manipulations consistant à faire passer
le bras d’une configuration à une autre. Cet exercice requiert une progression guidée
par des caméras à chaque étape de la scène d’opération. Des patterns d’actions sont
extraits des traces d’activité du STI pour modéliser les décisions qui sous-tendent les
gestes conduisant à des solutions. Cependant, les perceptions visuelles qui sont mises
en jeu lors de la guidance ne sont pas prises en compte. Pour notre part, nous faisons
l’hypothèse que les perceptions apportent des précisions non triviales sur les
informations recueillies par l’apprenant pour supporter les décisions relatives à
l’exécution de ses actions.
D’autres travaux ont été conduits sur l’analyse des perceptions en contextes
d’apprentissage. Toutefois, ils se concentrent généralement sur l’intérêt des
perceptions à expliciter des comportements. Par exemple, les perceptions visuelles
sont analysées pour déduire les compétences métacognitives dans l’apprentissage
exploratoire [1] ou encore les capacités cognitives du sujet au cours d’une tâche de
visualisation [13]. Certains chercheurs utilisent aussi les informations perceptuelles
pour détecter l’effort déployé par l’apprenant dans un contexte d’évaluation [5] ou
inférer son comportement dans le processus d’apprentissage [2, 8]. Dans d’autres
études, des périphériques de prise d’informations perceptuelles sont utilisées pour
capter les postures, les expressions faciales et la gestuelle comme des signaux
émotionnels [12]. De notre côté, nous nous intéressons aux perceptions comme
modalité à part entière de connaissances multimodales mises en jeu.
3
Enregistrement des Traces
En chirurgie mini-invasive, les radiographies constituent le principal retour
d’information sur la trajectoire des outils chirurgicaux dans le corps du patient. Les
retours haptiques des outils constituent des informations perceptuelles de guidage
complémentaires pour le chirurgien. Pour capter ces interactions, nous utilisons un
oculomètre [4] et un bras haptique [6] en complément du logiciel de simulation.
L’exemple d’opération traité dans cet article est la vertébroplastie, une chirurgie miniinvasive pratiquée pour le traitement des fractures vertébrales.
4
L’interface de simulation est divisée en plusieurs zones d’intérêt (Cf. Fig. 1.a) : la
zone d’affichage du modèle 3D du patient ; les zones d’affichage des radiographies; et
le tableau de réglages comprenant trois sous-sections : le tableau de réglages de
l’appareil de radioscopie ou fluoroscope, le tableau de manipulation de la réglette
pour le marquage de repères cutanés destinés à cibler l’os affecté et le tableau de
manipulation de l’outil de guidage des instruments chirurgicaux ou trocart.
Fig. 1. a) L’interface du simulateur TELEOS. b) Parcours visuel de l’apprenant.
La zone d’intérêt associée à l’affichage de la radiographie courante comporte des
points d’intérêt devant être prises en compte sur la vertèbre pour la validation de la
trajectoire d’insertion du trocart. Telle qu’illustrée dans la Fig. 2, l’identification des
points d’intérêt est effectuée à partir des coupes en deux dimensions du scan de la
colonne vertébrale du patient. Les coordonnées de ces points sont enregistrées dans
les métadonnées du cas clinique. Lorsque celui-ci est sélectionné comme exercice, les
points enregistrés sont projetés sur les radiographies produites par l’apprenant. Un
outil d’analyse de fixations intégré au simulateur permet d’analyser le parcours visuel
de l’apprenant en temps réel [4]. La Fig. 1.b illustre un parcours visuel à travers les
zones d’intérêt de l’interface et certains points d’intérêt à l’intérieur de ces zones.
Fig. 2. Identification et annotation des points d’intérêt des vertèbres.
Une distinction est faite entre deux catégories de fixations : 1) Les fixations de
vérification effectuées dans l’objectif de recueillir les informations nécessaires à la
vérification conduisant éventuellement à la validation d’une action déjà exécutée.
Elles sont portées sur l’état courant des outils –le fluoroscope et le trocart– et sur des
points d’intérêt spécifiques renvoyés par les radiographies prises ; 2) Les fixations de
décision traduisant l’intention ou la décision d’exécuter une nouvelle action. Elles
5
sont portées sur les commandes des outils. Cette distinction est pertinente d’un point
de vue didactique dans la mesure où elle précise l’intention de l’interne et, par-là, sa
stratégie de vérification et de validation des actions exécutées et plus globalement sa
stratégie de réalisation d’une opération.
Le simulateur enregistre des traces de manière ponctuelle à l’exécution d’une
action. Il s’agit des actions liées aux réglages du fluoroscope, au tracé des repères
cutanés et à la manipulation du trocart. Chaque action peut être définie comme une
photographie de l’environnement de simulation au moment de son exécution. En
effet, à chaque occurrence d’une action du simulateur les coordonnées des positions
des différents outils de l’environnement sont enregistrées. Dès lors, une action est
caractérisée non seulement par son nom mais aussi par les positions des outils de
l’environnement de simulation au même moment. Par exemple, deux prises de radio
de face seront différentes si le positionnement du fluoroscope a changé entre les deux
exécutions.
Le geste chirurgical inclut les types de préhension des outils chirurgicaux, les
niveaux de forces appliquées selon l’étape de progression et les inclinaisons,
orientation et direction d’insertion des outils. Le recueil des données nécessaires à la
modélisation des gestes chirurgicaux pour la vertébroplastie a été réalisé sur des
maquettes de patients. L’instrumentation nécessaire incluait notamment des
dynamomètres positionnés dans les maquettes pour pouvoir recueillir les données
relatives aux niveaux de force appliqués sur le trocart et à la vitesse de progression de
celui-ci à des points de progression importants. Les principaux points de progression
considérés pour une vertébroplastie sont le contact cutané, le contact osseux, l’entrée
pédiculaire, la traversée du corps vertébral jusqu’au point de validation de la
trajectoire du trocart L’intérêt cognitif de l’entrainement au positionnement des
instruments et à l’adaptation du geste chirurgical sur la base des résistances perçues
durant leur progression dans une trajectoire d’insertion, a été démontré dans [7].
4
Traitement des Traces
Dans le cas de TELEOS, les traces provenant des trois sources décrites dans la section
3 sont enregistrées séparément. Elles sont hétérogènes au niveau du type et du format
de leur contenu et au niveau de leur granularité temporelle. Les traces envoyées par le
logiciel de simulation et l’oculomètre sont alphanumériques alors que celles envoyées
par le bras haptique sont numériques. Le nombre de paramètres enregistrés pour les
traces de chaque source varie aussi. Ainsi, les traces du logiciel de simulation
comptent chacune 54 paramètres, celles provenant du bras haptique en comptent 15 et
celles issues de l’oculomètre, 6. Enfin, les traces de l’oculomètre et du bras haptique
sont enregistrées en continu tandis que celles du simulateur sont produites et
enregistrées de manière ponctuelle à l’exécution d’une action. Le framework proposé
pour le traitement de ces traces multi-source et hétérogènes met en œuvre, sous la
forme d’un processus, une suite de logiciels à fonction unique que nous appelons des
opérateurs. La Fig. 3 en présente le schéma. Les opérateurs en gris ne sont pas utilisés
dans cette étude. Les opérateurs de préparation et de transformation permettent de
produire des séquences perceptivo-gestuelles à partir de traces brutes multi-sources.
6
Les opérateurs avancés offrent des fonctions dédiées à l’analyse statistique de
l’apprentissage et à l’extraction de connaissances à partir des séquences ainsi
représentées. Nous présentons dans la suite les principaux opérateurs utilisés dans
cette étude.
Fig. 3. Schéma de fonctionnement du framework proposé
4.1
Le Fusionneur
Le « fusionneur » réunit les traces multi-sources sur la base de leur correspondance
séquentielle. En d’autres mots, les paramètres des traces des différentes sources dont
les timecodes correspondent sont fusionnés. La fusion est effectuée sans perte sur la
séquentialité des occurrences des actions, perceptions et gestes. Dans le cas de
TELEOS, chaque action du simulateur est associée à plusieurs traces de l’oculomètre
et du bras haptique. Par exemple, si l’interne cherche à positionner le trocart, l’action
Placer_Trocart va être envoyée par le simulateur. Les différentes manipulations
(déplacements, force, vitesse) destinés à placer l’outil dans la position et l’inclinaison
idoines pour une insertion sont enregistrées par le bras haptique. Les points visualisés
sur la radiographie prise et sur le modèle 3D sont enregistrés par l’oculomètre.
Plusieurs points de fixations et plusieurs gestes correspondent donc à une occurrence
de l’action Placer_Trocart. L’opérateur fusionnera les paramètres des différentes
traces tout en gardant l’ordre temporel de leur occurrence.
4.2
Le Sémantisateur
Le « sémantisateur » permet d’attribuer une dénomination sémantique aux
manipulations et états des outils dont l’évolution des paramètres se caractérise par des
traces brutes numériques. Un état désigne le positionnement des outils de
l’environnement de simulation à l’exécution d’une action. L’intérêt est de produire
des séquences qui rendent compte d’informations précises sur ces outils avant,
pendant, et après l’exécution d’une action. Dans notre cas d’étude, les traces ne
rapportent que les nouvelles coordonnées des positions des outils quand ils sont
manipulés. Pour caractériser les changements résultant de ces manipulations,
7
l’opérateur de sémantisation utilise les coordonnées de la séquence courante
rapportant les nouvelles positions des outils et les coordonnées de la séquence
précédente par rapport auxquels le changement effectué sera caractérisé. Les
séquences produites à cette étape traduisent par une dénomination sémantique non
seulement les conséquences de la manipulation des outils sur leur positionnement,
mais aussi la manière dont cette manipulation a été effectuée. Cette information peut
être discrète (ex. : « Le trocart a une inclinaison caudale »), ou continue (ex. : « Le
trocart est incliné rapidement dans l’axe caudal »).
Le tableau 1 présente un exemple de séquences de traces avec des coordonnées
brutes et le résultat de la sémantisation. Dans cet exemple, par souci de simplification,
seules les coordonnées du trocart ont été sélectionnées. Le dernier état connu de tous
les outils est rapporté d’une séquence à l’autre : on peut remarquer dans la séquence
sémantique S2-S1 que le dernier état connu du fluoroscope est mentionné ainsi que le
dernier état connu du trocart même si la séquence ne rapporte aucune manipulation de
ce dernier entre S1 et S2. Si cela est jugé nécessaire dans les traitements visés,
l’opérateur permet aussi de caractériser les perceptions visuelles sur la base de leur
durée en fixations brèves, normales ou prolongées.
Tableau 1. Sémantisation des coordonnées des outils
Traces fusionnées
Timecode
Actions
simulateur
S1
1370432727
Controle_Face
S2
1370432729
Placer_Trocart
S3
1370432734
Controle_Face
Timecode
Actions
simulateur
S2-S1 1370432729 Placer_Trocart
Coordonnées manche et pointe du trocart
Perceptions, durée en ms
(150.126, -115.484, 114.948)
(153.729, 6.744, 153.264)
(150.126, -115.484, 114.948)
(153.729, 6.744, 153.264)
(141.384, -114.981, 120.160)
(153.729, 6.744, 153.264)
Séquences sémantiques
manipReglage, 1109
(outil_vue3D vue3D, 2757)
(outil_vueRadio vueRadioFace, 359)
vueRadioFace, 3717
(O_outil_vue3D O_vue3D, 280)
O_manipReglage, 14284
Actions trocart
Etats des outils
AmpliProfil_inclinaison_craniale*
Aucune
Trocart_inclinaison_droite*
Trocart_nonInsere
Trocart_translation_droite
AmpliProfil_inclinaison_craniale
Trocart_translation_anterieure Trocart_nonInsere
Perceptions
(O_outil_vueRadio O_vueRadioFace)
O_vueRadioFace
(O_outil_vue3D O_vue3D)
O_manipReglage_1**
* Dernier état connu du fluoroscope et du trocart. **Suffixe traduisant une fixation prolongée (relativement au domaine)
S3-S2 1370432734 Controle_Face
4.3
L’Annotateur
L’opérateur d’annotation permet d’annoter les séquences perceptivo-gestuelles avec
des évaluations expertes. Dans le cas de TELEOS, ces évaluations sont effectuées par
un réseau bayésien à partir d’un ensemble d’éléments de connaissances experts
désignés sous le terme de « contrôles ». Ceux-ci sont utilisés par le réseau bayésien
comme référence pour évaluer l’état des connaissances de l’apprenant. Les résultats
de ces évaluations (ex : correct ou incorrect), sont portés par les « variables de
situation » [9]. Le tableau 2 présente quelques exemples de contrôles et de variables
de situation ainsi que les actions auxquelles ils sont associés et les étapes de la
simulation où ces actions peuvent être exécutées.
8
Tableau 2. Exemples de contrôles et de variables de situation
Action
Prendre une radio
de face
Vérifier la position
du trocart sur une
radio de profil
Etape
Réglages
Insertion
Contrôle
La vertèbre ciblée doit être au
centre de la radio
Au point d'entrée cutané, le
trocart doit être dirigé vers le
pédicule
Variable de situation
Position de la vertèbre
sur la radio de face
Orientation du trocart à
l’entrée cutanée
L’annotateur de notre framework récupère les variables de situation et leurs
résultats et les rattache aux séquences pour lesquelles elles ont été calculées. De
manière conceptuelle, une annotation (variable de situation, dans notre cas d’étude)
représente une action du système en réponse à un ensemble d’interactions de
l’apprenant. Elle est donc représentée dans une séquence, comme tous les autres
éléments d’interaction enregistrés, sous la forme d’un ensemble d’items dont
l’occurrence intervient après celle de ces éléments d’interaction.
4.4
Le répartiteur de phase
Pour des exercices dont la résolution implique différentes phases, le répartiteur de
phase identifie automatiquement la phase à laquelle appartient chaque trace
enregistrée. Pour ce faire, l’opérateur prend en entrée les listes prédéfinies des actions
de chaque phase ou la liste des paramètres caractérisant chaque phase. Il procède en
analysant les traces et en lui attribuant un tag faisant référence à la phase [15]. A cette
étape du traitement, nous obtenons une représentation des séquences perceptivogestuelles à partir de laquelle on peut effectuer des traitements avancés d’analyse de
l’apprentissage et d’extraction de connaissances.
4.5
L’Analyseur d’Etapes d’Exécution
L’analyseur de parcours d’exécution permet d’enregistrer les validations d’étapes et
les retours sur étape observés pour un environnement d’apprentissage dont les
exercices impliquent une résolution par étapes. La simulation de la vertébroplastie se
réalise sur trois étapes consécutives : réglages de l’appareil de radioscopie, repérage
cutané et insertion du trocart. Le passage d’une étape à l’autre est linéaire. Cependant,
le simulateur ne contraint pas l’évolution de la simulation dans un sens : l’interne peut
circuler librement entre les étapes au cours d’une session. Par contre, il faut souligner
que chaque retour sur étape est motivé par la correction d’actions injustement
validées. Pour chaque session analysée, l’opérateur enregistre les actions effectuées à
chaque point du parcours ainsi que les fixations de vérification et les fixations de
décision supportant chacune de ces actions.
5
9
Evaluations et Discussion
Pour cette étude, nous faisons l’hypothèse que les traitements proposés pour la
représentation des traces multi-sources hétérogènes génèrent des séquences
perceptivo-gestuelles permettant de faire le rapprochement entre les erreurs des
internes (variables de situation incorrectes et erreurs de validation) et leurs
perceptions visuelles.
5.1
Données
Les traces utilisées pour cette étude proviennent de 9 sessions de simulation de
vertébroplastie réalisées par 5 internes et 1 chirurgien expert du département
d’Orthopédie Traumatologie du CHU de Grenoble. Hormis l’expert aucun des sujets
n’avait utilisé le simulateur auparavant. Les exercices de simulation consistaient à
traiter une fracture de la 11e et/ou 12e vertèbre thoracique. Avant de commencer,
chaque sujet a visionné une vidéo de présentation du simulateur puis effectué une
session de prise en main. Le Tableau 3 détaille les données recueillies et traitées.
Tableau 3. Traces collectées et traitées (# : nombre ; p-g : perceptivo-gestuelle ; VS : variable
de situation)
Profil
Interne
Interne
Interne
Interne
Expert
Interne
5.2
N°
Session
S01
S02
S03
S04
S05
S06
S07
S08
S09
Vertèbre #Traces #Séquences
#VS
#Erreurs #Séquences
#Fixations
opérée
brutes p-g annotées
incorrectes validation correction
11e T
2702
113
2033
750
9
11
11e T
1636
37
885
178
4
4
12e T
118
33
690
208
3
5
11e T
5107
128
2482
644
10
39
12e T
1677
41
858
174
6
10
11e T
3432
59
1452
249
4
31
12e T
1828
47
1040
239
5
9
11e T
5068
117
2514
644
20
36
12e T
1496
41
869
193
4
22
Résultats
Le nombre de séquences variant beaucoup d’une session à l’autre, nous utilisons le
nombre moyen de fixations par séquence qui traduit mieux la tendance des analyses
visuelles que le simple nombre des fixations. Il en va de même pour les variables de
situation incorrectes. Les erreurs de validations traduisent le nombre de changements
de phase dans le but d’effectuer des corrections liées à des validations erronées. Nous
nous intéressons au nombre d’erreurs de validation commises dans une session, le
nombre d’actions consacrées à la correction de ces erreurs ainsi que les perceptions
liées à ces actions de correction. Le graphique de la Fig. 4.a résume la distribution des
fixations, des variables de situation incorrectes et des erreurs de validation. La session
avec la plus grande moyenne de fixations (24,6) rapporte 19% moins de variables de
situation incorrectes que les autres. On peut constater la même relation entre les
analyses visuelles et les erreurs de validation pour l’ensemble des sessions étudiées,
10
excepté pour la session S08. En effet, cette session rapporte une forte moyenne
d’analyses visuelles (21,5) mais néanmoins beaucoup d’erreurs de validation (20).
Cela s’explique par le fait que le sujet exécute à la fois peu d’actions de correction et
très peu d’analyses visuelles pour supporter ces actions. En effet, dans le graphique b
de la Fig. 4, on constate que cette session a une faible moyenne de séquences liées à
des corrections (1,8) lors d’un retour sur étape, couplée à la plus faible moyenne de
fixations de la série (15,5) pour ces corrections.
Fig. 4. a) Histogramme des variables de situation incorrectes, fixations et erreurs de validation ;
b) Histogramme des séquences liées à une correction et des fixations supportant ces séquences ;
c) Histogramme des fixations de vérification et de décision
En comparaison, la session S02 rapporte la plus faible moyenne d’actions de
corrections (1,0. Cf. Fig. 4.b) mais suffisamment d’analyses visuelles (20,5. Cf. Fig.
4.b) pour consolider les décisions de validation et limiter les erreurs (4. Cf. Fig. 4.a).
De plus, on peut constater sur la Fig. 4.c qu’une faible part des fixations de la session
S08 est dédiée à des analyses visuelles de vérification (7,7 contre 13,8 pour les
fixations liées à la décision). La session S09 a été réalisée par le même sujet mais on
observe moins d’erreurs de validation et moins de variables de situation incorrectes
car tout en ayant sensiblement le même taux de fixations, son comportement lié aux
analyses visuelles s’est inversé et il consacre plus d’actions à la correction des erreurs.
6
Conclusion et Perspectives
Les connaissances perceptuelles et gestuelles sont difficiles à capter dans les EAIH,
notamment parce que cela implique l’utilisation de plusieurs périphériques produisant
des traces hétérogènes difficiles à traiter dans un objectif d’analyse de l’activité
d’apprentissage. Nous avons présenté dans cet article notre méthodologie pour la
capture et le traitement de traces perceptuelles et gestuelles produites sur TELEOS, un
Système Tutoriel Intelligent dédié à la chirurgie orthopédique percutanée. Le
framework proposé pour le traitement des traces multi-sources permet d’aboutir à une
représentation cohérente des séquences d’actions où des connaissances perceptivogestuelles sont mises en jeu. Nous avons aussi démontré que les comportements de
l’apprenant liés aux perceptions visuelles pouvaient être analysés de manière
pertinente à partir de la représentation proposée. Les résultats de notre étude ont
11
révélé une influence forte du comportement relatif aux analyses visuelles sur les
erreurs commises au cours d’une session de simulation.
Nous projetons d’intégrer l’analyse de ces comportements directement au niveau
du module de diagnostic des connaissances du simulateur et de tester le gain effectif
de la qualité des résultats produits. En outre, ces traitements rendent désormais
possible la production de rétroactions adaptatives ciblant à la fois les actions, les
perceptions et les gestes. Nous pouvons donc envisager un guidage pédagogique basé
sur le comportement de l’apprenant lié aux perceptions.
D’autre part, nous envisageons de tester la généricité de notre framework pour
d’autres domaines impliquant des connaissances perceptivo-gestuelles. A la rédaction
de cet article, la mise en place d’une expérimentation sur des données provenant d’un
simulateur de vol est en cours.
Remerciements. Ce travail est partiellement financé par le LabEx PERSYVAL-Lab
(ANR-11-LABX-0025-01). Les auteurs remercient Elena Elias pour sa contribution à
la collecte de données et Nadine Mandran, pour la relecture de l’article.
Références
1.
2.
3.
4.
5.
6.
7.
8.
9.
Conati, C., Merten, C.: Eye-tracking for user modeling in exploratory learning
environments: An empirical evaluation. Knowl.-Based Syst, Vol. 20(6) (2007) 557-574
D'Mello, S. Olney, A., Williams, C., Hays, P.: Gaze tutor: A gaze-reactive intelligent
tutoring system. Int. J. Hum.-Comput. Stud., Vol. 70(5) (2012) 377-398
Fournier-Viger, P., Nkambou, R., Mayers, A., Mephu Nguifo, E., Faghihi, U. A Hybrid
Expertise Model to Support Tutoring Services in Robotic Arm Manipulations. In
Proceedings of the 10th Mexican International Conference on Artificial Intelligence.
LNAI 7094, Springer, (2011) 478–489
Jambon, F., Luengo, V. : Analyse oculométrique « on-line » avec zones d’intérêt
dynamiques : application aux environnements d’apprentissage sur simulateur. In Actes de
la Conférence Ergo’IHM sur les Nouvelles Interactions, Créativité et Usages, Biarritz
France (2012)
Lach, P.: Intelligent Tutoring Systems Measuring Student’s Effort During Assessment. In:
Zaïane, O.R. and Zilles, S. (eds.): Advances in Artificial Intelligence. Lecture Notes in
Computer Science, Vol. 7884. Springer, Berlin Heidelberg (2013) 346-351
Luengo, V., Larcher, A., Tonetti, J.: Design and implementation of a visual and haptic
simulator in a platform for a TEL system in percutaneous orthopedic surgery. In Medecine
Meets Virtual Reality 18. (eds.): Westwood J.D., Vestwood, S.W. (2011) 324–328
Luengo, V., Vadcard, L., Tonetti, J., Dubois, M.: Diagnostic des connaissances et
rétroaction épistémique adaptative en chirurgie. In Revue d'Intelligence Artificielle,
Lavoisier. Hermes Science Publications, Vol. 25 (4), (2011) pp.499-524.
Mathews, M., Mitrovic, A., Lin, B., Holland, J., Churcher, N.: Do Your Eyes Give It
Away? Using Eye Tracking Data to Understand Students’ Attitudes towards Open Student
Model Representations. In: Cerri, S.A., Clancey, W.J., Papadourakis, G., Panourgia, K.
(eds.): Intelligent Tutoring Systems. Lecture Notes in Computer Science, Vol. 7315.
Springer, Berlin Heidelberg (2012) 422-427
Minh Chieu V., Luengo V., Vadcard L.: Student Modeling in Orthopedic Surgery
Training: Exploiting Symbiosis between Temporal Bayesian Networks and Fine-grained
12
10.
11.
12.
13.
14.
15.
16.
17.
Didactical Analysis. In International Journal of Artificial Intelligence in Education 20.
IOS Press. (2010) 269-301
Mulgund, S.S., Asdigha, M., Zacharias, G. L., Ma, C., Krishnakumar, K., Dohme, J.A.,
Al, R.: Intelligent Tutoring System for Simulator-Based Helicopter Flight Training. Flight
Simulation Technologies Conference. American Institute of Aeronautics and Astronautics
Baltimore MD U.S.A. (1995)
Remolina, E., Ramachandran, S., Fu, D., Stottler, R., Howse, W.R.: Intelligent
Simulation-Based Tutor for Flight Training. In: Interservice/Industry Training, Simulation,
and Education Conference. (2004) 1-13
Ríos, H.V., Solís, A.L., Aguirre, E., Guerrero, L., Peña, J., Santamaría, A.: Facial
Expression Recognition and Modeling for Virtual Intelligent Tutoring Systems. In: Cairó,
O., Sucar, L.E., Cantu, F.J. (eds.): Advances in Artificial Intelligence. Lecture Notes in
Computer Science, Vol. 1793. Springer, Berlin Heidelberg (2000) 115-126
Steichen, B., Carenini, G., Conati, C.: User-adaptive information visualization: using eye
gaze data to infer visualization tasks and user cognitive abilities. In: Proceedings of the
2013 Int. Conf. on Intelligent User Interfaces. ACM, New York NY USA (2013) 317-328.
Tonetti, J., Vadcard, L., Girard, P., Dubois, M., Merloz, P. Troccaz, J.: Assessment of a
percutaneous iliosacral screw insertion simulator. In Proceedings of the Conference
Clinical Orthopaedics and Related Research. (2009) 471-477
Toussaint, B-M., Luengo, V.: Mining Surgery Phase-Related Sequential Rules from
Vertebroplasty Simulations Traces. To be published in the Proc. of the 15th International
Conference on Artificial Intelligence in Medicine (AIME 2015). Pavia, Italy (2015)
Weevers, I., Kuipers, J., Brugman, A.O., Zwiers, J., van Dijk, E.M.A.G., Nijholt, A.: The
Virtual Driving Instructor, Creating Awareness in a Multi-Agent System. In: Xiang, Y.,
Chaib-Draa, B. (eds.): Proceedings of the 16th Canadian society for computational studies
of intelligence conference on Advances in artificial intelligence. Springer-Verlag, Berlin
Heidelberg (2003) 596-602.
de Winter, J.C.F., de Groot, S., Dankelman, J., Wieringa, P.A., van Paassen, M.M.,
Mulder, M.: Advancing simulation-based driver training: lessons learned and future
perspectives. In Proceedings of the 10th international conference on Human computer
interaction with mobile devices and services. ACM, New York NY USA (2008) 459-464.
Vers l’analyse de l’engagement de l’apprenant :
une approche par la visualisation multi-échelle
de traces hétérogènes
Rubiela Carrillo Rozo1 , Elise Lavoué2 , and Yannick Prié3
1
Université de Lyon, CNRS
Université Lyon 1, LIRIS, UMR5205, F-69622, France
[email protected],
2
Magellan, IAE Lyon, Université Jean Moulin Lyon 3, France
[email protected],
3
Université de Nantes, LINA - UMR 6241 CNRS, France
[email protected]
Résumé De nombreux travaux de recherche dans le domaine des Learning Analytics proposent des indicateurs statistiques tels que la durée ou
le nombre d’actions réalisées sur les outils ou les ressources utilisés. Ces
indicateurs supportent généralement le suivi et la réflexivité des activités
de l’apprenant en renvoyant des informations sur l’utilisation de chaque
outil et ressource. Mais les contextes d’apprentissage en ligne sont de plus
en plus complexes, permettant l’utilisation de ressources variées. Dans ces
nouveaux contextes, l’activité de l’apprenant devient “hétérogène” (avec
plusieurs outils et types de documents), et “discrète” (interrompue par
les actions sur chaque outil ou document). Ainsi, les bilans d’indicateurs
statistiques ne suffisent pas pour comprendre l’activité de l’apprenant et
plus particulièrement son engagement dans l’activité et les pratiques de
régulation mises en place. Nos travaux de recherche visent à proposer
aux enseignants, apprenants et concepteurs, des visualisations des traces
hétérogènes des apprenants avec une attention particulière sur leur engagement et leurs pratiques de régulation. Ces visualisations cherchent
à favoriser l’interprétation de ces comportements grâce à des analyses à
plusieurs niveaux temporels et de groupe (apprenant, classe, institution).
Keywords: Learning Analytics, Visual Analytics, EIAH, engagement,
régulation, visualisation, multi-échelle, traces hétérogènes
1
Introduction
L’engagement des apprenants dans les formations en ligne est un enjeu d’autant plus important que l’offre devient nombreuse, notamment à travers la création de MOOC. Or, peu d’outils permettent aujourd’hui d’observer et analyser
cet engagement en conditions écologiques d’utilisation [1]. De même, les apprenants sont face à de nombreuses ressources et doivent développer leur autonomie.
Une manière de les aider est de leur permettre d’observer les pratiques de régulation de leurs activités qu’ils ont mises en places [9]. Afin de soutenir l’engagement
14
R. Carrillo Rozo, E. Lavoué & Y. Prié
et la régulation des apprenants dans ce contexte, notre intérêt porte sur la représentation visuelle des activités hétérogènes des apprenants à partir de leurs
traces hétérogènes d’interaction avec un environnement d’apprentissage en ligne.
Nous appelons « activité hétérogène » une activité qui est réalisée sur plusieurs outils informatiques, sur des documents de différentes natures et qui est
constituée de tâches diverses réparties dans le temps. Les traces hétérogènes correspondent alors à des traces provenant d’actions de l’apprenant sur des outils
et des documents variés, comme c’est le cas sur les Environnement Numérique
de Travail (ENT 1 ) existants. Notre objectif est de permettre à l’enseignant de
suivre l’ensemble de l’activité des apprenants (individu, classe) et à l’apprenant
à avoir une démarche réflexive sur ses propres pratiques.
Notre intérêt particulier consiste à supporter la compréhension du comportement des apprenants, traduisant leur engagement vis-à-vis de l’activité d’apprentissage et les pratiques de régulation mises en place. Nous considérons que
la visualisation des traces des apprenants à la fois multi-échelle (à plusieurs niveaux de finesse d’analyse) et focalisant sur la continuité de l’activité (suivant
les multiples outils) est importante pour en permettre l’interprétation.
La première partie de cet article présente le contexte pédagogique, la problématique et l’objectif de nos travaux de recherche. Nous présentons dans la
deuxième partie une étude bibliographique des travaux en lien avec notre problématique, et dans la troisième partie les fondements de notre proposition.
2
2.1
Contexte et problématique de recherche
Contexte : le projet Meta-Education
Notre travail de recherche est conduit dans le cadre du projet Meta-Education,
financé par le programme Investissements d’Avenir (e-Education 2). Le projet
a pour objectif de developper une plateforme integrée de ressources et de services, permettant aux enseignants et élèves d’accéder dans un espace unique a
des ressources sous droits et a des ressources libres, de créer et d’assembler leurs
propres contenus, et de disposer de services innovants (e.g. vidéos interactives,
annotations « sociales », partage par groupe de niveau). Ce projet regroupe les
partenaires ITOP Education 2 , Erdenet 3 , Vodkaster 4 , et l’Institut de Recherche
et d’Innovation du Centre Pompidou (IRI 5 ). Au sein de ce projet, nous avons
pour objectif, selon une démarche itérative et participative, d’observer les usages
des outils proposés selon des scénarios pédagogiques complexes (i.e. utilisant des
outils innovants avec une banque de ressources multimédia), ceci afin d’améliorer ces outils et inciter à des nouveaux usages. Comme précisé auparavant, les
1. Un Espace Numérique de Travail (ENT) est un ensemble intégré de services numériques, choisi, organisé et mis à disposition de la communauté éducative par l’établissement scolaire. http ://eduscol.education.fr/cid55726/qu-est-ent.html.
2. http ://www.itopeducation.fr/
3. http ://erdenet.fr/site/
4. http ://www.vodkaster.com
5. http ://www.iri.centrepompidou.fr
Une approche de visualisation à partir de traces hétérogènes
15
visualisations proposées s’adresseront à l’enseignant et à l’apprenant, mais aussi
au concepteur.
La plate-forme visée par Méta-Education devra plus particulièrement permettre l’intégration des outils suivants :
— Une solution ENT qui sera le point d’articulation des ressources et outils
en ligne pour que les apprenants réalisent les activités pédagogiques.
— L’outil BeLearner qui permet de lier des supports et des contenus hétérogènes pour les diffuser sous la forme de parcours de pédagogiques.
— L’outil Renkan de création de cartes mentales à partir de documents
variés.
— L’outil MetaData Composer (MDC) permettant l’annotation collaborative de documents audiovisuels.
Les données collectées sur les différents outils devront être intégrées et accédées via des APIs pour le traitement et l’obtention des visualisations souhaitées.
Un premier schéma de l’architecture de flux de données à partir des traces de
l’apprenant se trouve Figure 1.
Collecte
Traitement Visualisation
Stockage
IRI
ITOP
LIRIS
Renkan
traces
Renkan
MDC
enseignant
traces
MDC
Engagement
de
l’apprenant
Erdenet
BeLearner
API
traces
BeLearner
apprenant
traces
MétaEduc
API
apprenant
Interprétation
ITOP
ENT
concepteur
traces
ENT
Figure 1. Flux de données MétaEducation
Tous ces outils partagent une même banque de ressources disponibles ou
créées par les enseignants eux-mêmes. Ces ressources peuvent ainsi être des vidéos, des segments de vidéos annotés, des cartes mentales, des images ou encore
des parcours pédagogiques. Il est à préciser que les apprenants peuvent créer
des ressources dans le cadre d’activités pédagogiques, mais celles-ci ne seront
16
pas indexées dans la banque de ressources, à moins que l’enseignant ne le décide
volontairement.
2.2
Problématique de recherche
L’exemple suivant décrit une activité hétérogène : un enseignant de lycée
demande a ses élèves de réaliser un devoir pour l’apprentissage d’une langue
étrangère. Le devoir consiste à compléter la transcription d’un extrait vidéo
d’un film en anglais. Pour cela, l’élève dispose des outils et des documents mis
à disposition sur l’ENT de l’établissement. Il dispose d’un outil qui permet de
lire et faire des annotations sur des vidéos, un dictionnaire, et un éditeur de
texte. Il dispose aussi de l’extrait vidéo sous-titré avec des espaces vides pour
certains mots des dialogues des personnages, et un document texte qui contient
la transcription des sous-titres avec les mêmes espaces vides que dans la vidéo.
L’élève peut se servir de la fonctionnalité « annotations » de l’outil vidéo fournie
pour mettre des repères ou signaler des difficultés rencontrées sur la vidéo. Le
but de l’activité est de rendre un texte contenant la transcription complète de
l’extrait vidéo.
Nous considérons trois utilisateurs des visualisations des activités de l’apprenant : l’enseignant, le concepteur d’outils, et l’apprenant lui-même. Chacun a
des besoins particuliers. L’enseignant a besoin de suivre l’activité de l’apprenant.
Le suivi lui permet, entre autres, de l’évaluer, de découvrir les activités réalisées
pour essayer de comprendre son rendu, de préparer des interventions et d’améliorer sa démarche pédagogique. Dans le cas de l’activité de transcription présentée
auparavant, l’enseignant peut s’intéresser à identifier les ressources utilisées par
sa classe, mais également à l’ordre d’utilisation par un élève en particulier afin
de comprendre ses bons ou mauvais résultats et son engagement (vs désengagement) vis-à-vis de l’activité d’apprentissage. L’enseignant peut par exemple
chercher à répondre à des questions telles que : l’élève a-t-il utilisé le dictionnaire en ligne ? Dans quel ordre et éventuellement avec quels aller-retours a-t-il
utilisé les ressources ? A-t-il lu le texte fourni en premier pour se faire une idée
de son sujet ? A-t-il vu l’extrait vidéo entier avant de commencer à remplir les
espaces du texte ? A-t-il mis des points de repère sur la vidéo via les annotations
et dans quel but (i.e. prise de notes ou réflexion) ? Comment l’utilisation des
annotations a t’elle évolué au cours des différentes activités de transcription ?
L’apprenant en tant qu’auteur de l’activité analysée peut bénéficier de représentations visuelles de son activité afin d’engager une démarche réflexive. Il
a besoin de réfléchir sur sa démarche d’apprentissage, d’avoir conscience de sa
progression et son niveau d’engagement. Il peut vouloir se comparer à ses collègues pour se situer dans sa classe, ou réfléchir sur leurs activités pour découvrir
d’autres stratégies et éventuellement les appliquer. Il pourrait se poser les questions suivantes : qui a eu les meilleurs résultats de la classe ? Comment-il les a
obtenus ? Quelle a été sa démarche, sa stratégie ? Quelles ont été les démarches
adoptées pour compléter la transcription de l’extrait vidéo ? Comment ont-ils
utilisé les annotations pour cela ?
17
Le concepteur a aussi besoin de comprendre l’activité des apprenants. Il a
besoin de connaı̂tre leurs difficultés pour identifier ou et pourquoi elles ont lieu,
d’évaluer ses outils et déterminer les liens et niveaux d’intégration possibles des
différents outils pour supporter une activité pédagogique globale (realisée sur un
ensemble d’outils). Il peut ainsi avoir intérêt a plusieurs niveaux d’analyse dans
les visualisations. Dans l’activité « Compléter le scenario », le concepteur peut,
par exemple, identifier si la ressource dictionnaire ou la fonctionnalité « annotations » de l’outil vidéo ont été utilisées par la classe comme attendu. Il peut
s’intéresser aux étudiants qui ne l’ont pas utilisé pour identifier de possibles difficultés ou problèmes des ressources (accès, temps de réponse, ergonomie, manque
de fonctionnalités, manque d’intégration des fonctionnalités entre elles, etc.) en
vue de proposer des améliorations. Le concepteur peut aussi s’intéresser à des
visualisations des ressources ou fonctionnalités utilisées par pays, regions, departements, collectivités ou établissements pour faire évoluer ses outils.
Des métriques statistiques isolées telles que le nombre de visites au dictionnaire ou le temps passé sur la vidéo peuvent représenter l’utilisation de ces deux
ressources, mais ne sont pas des représentations de l’activité d’apprentissage effective des apprenants et ne permettent pas d’interpréter des comportements
engagés (ou non) dans le contexte de ces activités. Les bilans statistiques ne
peuvent pas expliquer pourquoi les apprenants ont fait certaines actions, pourquoi ils sont restés un temps spécifique sur une ressource ou pourquoi ils ont
eu certains résultats. Nous pensons qu’une approche basée sur des visualisations multi-échelle en relation à différents types d’analyse, construites a partir
des traces d’utilisation des différents outils, présente une alternative pour aider
les enseignants, apprenants et concepteurs a repondre aux questions soulevées
ci-dessus.
2.3
Objectifs de nos travaux
Notre objectif est de proposer des représentations visuelles permettant d’analyser l’engagement et les pratiques de régulation des apprenants. De telles visualisations construites à partir des traces hétérogènes de l’apprenant seront
multi-échelle et devront permettre d’interpréter l’activité d’apprentissage dans
sa continuité, c’est-à-dire sur plusieurs outils et sur la durée (plusieurs jours,
semaines ou mois). Pour cela nous chercherons notamment à repondre aux questions suivantes :
1. Comment identifier l’engagement dans un contexte distribué / collectif à
partir des traces d’activité hétérogènes des apprenants ?
2. Comment présenter ces traces hétérogènes de telle sorte que l’activité soit
considérée dans sa continuité, à différents niveaux temporels et de groupe,
afin de traduire l’engagement des apprenants ?
3
État de l’art
Nous présentons dans ce qui suit des travaux autour de la notion de trace
en tant qu’indice comme outil de support pour l’interprétation, ainsi que les
18
acteurs visés dans les travaux de représentation de traces d’apprentissage en
ligne. Une deuxième partie présente des travaux de visualisation de traces dans
l’enseignement à distance.
3.1
Analyse de traces et acteurs visés
Les actions des apprenants sur les outils Méta-Education fourniront des traces
hétérogènes des activités pédagogiques. Ginzburg dans son « Paradigme Indiciaire » [6] établit une relation étroite entre les traces et les indices. Pour lui,
les traces deviennent des indices lorsque l’observateur cherche à reconstruire les
actions qui ont occasionné telles traces. Ginzburg signale que la reconstruction
des actions à partir de traces remonte à l’époque à laquelle l’homme était un
chasseur. L’homme a appris à « déchiffrer » des empreintes des animaux, des
branches cassées, des plumes arrachées, etc. Ces traces constituent des indices
des actions réalisées par les animaux, et la reconstruction de ces actions (génératrices de traces) correspond à l’interprétation des traces (générées). Ginzburg
présente le paradigme indiciaire comme une méthode qui a déjà été appliquée
pour résoudre des problèmes issus des sciences en relation à l’être humain (incluant la médecine), dont les caractéristiques de chaque cas sont particulières.
Par exemple, le diagnostic d’une maladie à partir de l’observation des symptômes
par le médecin, l’attribution d’un tableau à son véritable auteur à partir de l’observation de coups de pinceaux par le connaisseur d’œuvres d’art, la découverte
de l’auteur d’un délit à partir de l’observation par le détective des traces laissées dans la scène du crime. Ces problèmes ne peuvent être abordés que par des
méthodes du même type : « qualitatives ».
Deux aspects peuvent être retenus à partir de ce paradigme : l’interprétation
par la reconstruction des actions réalisées, et la nature qualitative des indices
(traces) pour la reconstruction de l’activité. Notre proposition vise à définir des
« indices qualitatifs » à partir des traces hétérogènes pour construire des représentations visuelles de l’ensemble des actions de l’apprenant qui soient conformes
à son activité.
Le travail de J. Laflaquière [8] sur les systèmes traçants les classifie en deux
catégories : systèmes pour soutenir l’activité de l’utilisateur, et systèmes pour
la re-conception des outils informatiques. Les approches issues des travaux de
Learning Analytics soutiennent principalement les activités des apprenants et
des enseignants. Verbert et al. [14] présentent une étude comparative de quinze
learning dashbords pour ces deux types d’utilisateurs. Très peu de travaux considèrent d’autres utilisateurs qui pourraient s’intéresser à l’analyse de traces, et
aucun d’entre eux n’offre des visualisations pour nos trois utilisateurs cibles (apprenants, enseignants et concepteurs) dans la même approche. Par exemple, Fortenbacher et al. [4] présentent LEMO, une application de visualisation interactive
de traces pour les enseignants. Les évolutions envisagées pour l’application ont
pour but de mettre à disposition des visualisations pour les concepteurs, mais ces
visualisations ne sont pas adaptées aux apprenants. Le projet Data Wranglers
[3] cherche à offrir des visualisations de traces des étudiants aux décideurs de
l’établissement afin qu’ils aient des informations plus riches pour structurer les
19
programmes d’études au profit des apprenants. Cette approche ne tient compte
ni des besoins des apprenants, ni de ceux des enseignants.
3.2
Visualisation de traces
Santos et al. [12] représentent des indicateurs calculés à partir du temps passé
sur chaque application, document et site Web, sous la forme de diagrammes en
bâtons, motion charts, tableaux et lignes de temps. Leony et al. [10] proposent
GLASS, une plateforme qui enregistre des traces hétérogènes des apprenants selon le schéma Contextualized Attention Metadata (CAM) [15]. Des modules qui
contiennent des scripts et des filtres de présentation permettent des visualisations de plusieurs indicateurs statistiques dans un dashboard. On retrouve parmi
ces indicateurs le nombre d’actions par jour et nombre d’actions par type. Les
deux approches proposent des visualisations d’indicateurs statistiques définis à
partir des traces des actions de l’apprenant par outil utilisé. Ces représentations
visuelles ne sont pas suffisantes pour donner une vue globale de l’activité hétérogène des apprenants et rendent difficile l’interprétation de leur comportements,
notamment de leur niveaux d’engagement.
Les techniques de visualisation sont à explorer pour proposer des représentations « parlantes » pour les apprenants, enseignants et concepteurs. Les niveaux
d’analyses correspondent à des visualisations multi-échelle. Les types d’analyses
peuvent être : statistique, thématique, temporelle, géo-spatiale et de réseau [2].
Des combinaisons de niveaux d’analyse et types d’analyse dans les visualisations
peuvent répondre aux besoins particuliers de chacun des utilisateurs. Le travail
de Loboda et al. [11] présente en « Mastery Grids » un exemple de visualisations
à plusieurs niveaux d’analyse qui peut nous inspirer. Ces grilles à trois dimensions présentent : les thématiques du cours (dimension verticale), les ressources
du cours (dimension horizontale), et le niveau d’accomplissement des tâches liées
aux ressources disponibles par thématique (dimension définie par l’intensité de
la couleur de la cellule). Les visualisations permettent d’aller par exemple, d’un
niveau qui présente l’accomplissement des tâches liées à une ressource par thématique du cours, à un niveau plus détaillé où est présenté l’accomplissement
des tâches liées à la même ressource par sous-thématique de la même thématique
affichée précédemment.
Les visualisations interactives peuvent favoriser l’interprétation de l’activité
représentée. Le principe proposé par Shneiderman [13], « overview first, zoom
and filter, then details on demand » semble être appliqué largement dans les
visualisations interactives en contexte d’apprentissage. Des tool tips sont affichés
par exemple, lorsque l’utilisateur survole les objets pédagogiques (nœuds) du
graphe qui représente l’activité de l’apprenant [4]. Le dashboard Student Activity Meter (SAM) [7] implémente le zooming [5]. Dans SAM, l’utilisateur peut
visualiser une partie du graphique linéaire dans une autre fenêtre du dashboard.
Dans le graphique linéaire, chaque ligne représente le temps dedié à l’activite par
un apprenant. Un nombre élevé d’apprenants affecte notablement la lisibilite du
graphique. Les exemples de techniques mentionnées semblent chercher à résoudre
les problèmes de lisibilité plutôt qu’à proposer des visualisations multi-échelle.
20
Nous voulons proposer ce type de visualisations mettant l’accent sur la représentation de la dimension temporelle des actions de l’apprenant pour supporter
des analyses de l’activité à plusieurs niveaux de finesse adaptés aux besoins des
utilisateurs (i.e. apprenant, classe, institution).
4
Approche proposée
Notre travail cherche à proposer des visualisations multi-échelle générées à
partir d’une architecture intégrant des traces hétérogènes. Ses fondements et la
méthode de validation envisagée sont présentés ci-après.
Les différents niveaux d’analyse des visualisations sont définis principalement
par trois critères : 1) l’usage et la nature des outils, 2) la représentation de
la dimension temporelle et 3) l’objet d’étude (aprenant, classe ou institution).
L’usage des outils lors de l’activité de l’apprenant et leur nature sont des facteurs
déterminants de l’hétérogéneité des traces. Le nombre d’outils utilisés détermine
si les données des traces sont mono ou multi-sources. La nature des outils est
mise en relation avec les types de ressources manipulées et avec les possibles
actions qui peuvent être réalisées par les apprenants. Par exemple, un lecteur de
vidéo permettra de réaliser des actions sur les vidéos telles que la lire, l’arrêter,
afficher ses sous-titres, augmenter le volume, etc. D’autre part, la dimension
temporelle peut être représentée à partir de plusieurs unités de temps et grâce
à des techniques de visualisation existantes (cf. 2.3). Les visualisations pourront
représenter l’activité par séances, jours, semaines, mois, etc. selon les besoins.
Ces différents niveaux dans la représentation des traces permettront des analyses
plus ou moins fines. La temporalité peut aussi être représentée par les traces d’un
apprenant ou un groupe d’apprenants exploitant toujours la notion « multiéchelle » au profit des observateurs.
Nous envisageons une validation incrémentale des visualisations proposées.
Dans un premier temps, le processus global de collecte, stockage, traitement et
visualisation de traces sera réalisé pour observer les comportements engagés et les
pratiques de régulation des apprenants pour un outil, en l’occurence BeLearner.
Nous collecterons ainsi les traces de l’activité de construction de parcours pédagogiques par les apprenants eux-mêmes. Les visualisations seront construites
de manière participative avec les enseignants afin d’identifier les éléments extraits des traces faisant sens pour eux en terme d’observation des pratiques de
régulation et de l’engagement des apprenants.
Le processus de traitement des traces et les visualisations proposées pour le
premier outil seront ensuite appliqués à un deuxième outil (construction de cartes
mentales) afin d’en tester la généricité. Nous ferons de même avec le troisième
outil (annotation de vidéo) intégré à l’ENT dans le cadre de MétaEducation.
Nous disposons ainsi d’une variété d’outils (cf. 2.2) qui nous permettra de valider
notre proposition sur différents cas d’application, utilisant différents types de
ressources (images, cartes mentales, vidéos annotées, parcours pédagogiques).
Notre objectif final est de valider notre architecture de traitement de traces et les
visualisations génériques proposées afin d’observer l’engagement et les pratiques
21
de régulation sur différents outils disponibles sur les divers ENT existants à
l’heure actuelle.
Références
1. P. Bouvier, K. Sehaba, and E. Lavoué. A trace-based approach to identifying users’
engagement and qualifying their engaged-behaviours in interactive systems : application to a social game. User Modeling and User-Adapted Interaction, 24(5) :413–
451, July 2014.
2. K. Börner. Visual insights : a practical guide to making sense of data. The MIT
Press, Cambridge, Massachussetts, 2014.
3. D. Clow. Data Wranglers : Human Interpreters to Help Close the Feedback Loop.
In Proceedings of the Fourth International Conference on Learning Analytics And
Knowledge, LAK ’14, pages 49–53, New York, NY, USA, 2014. ACM.
4. A. Fortenbacher, L. Beuster, M. Elkina, L. Kappe, A. Merceron, A. Pursian,
S. Schwarzrock, and B. Wenzlaff. LeMo : A learning analytics application focussing
on user path analysis and interactive visualization. In 2013 IEEE 7th International Conference on Intelligent Data Acquisition and Advanced Computing Systems
(IDAACS), volume 02, pages 748–753, Sept. 2013.
5. G. W. Furnas. A Fisheye Follow-up : Further Reflections on Focus + Context. In
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,
CHI ’06, pages 999–1008, New York, NY, USA, 2006. ACM.
6. C. Ginzburg. Signes, traces, pistes : Racines d’un paradigme de l’indice. Le Débat,
6(6) :3, 1980.
7. S. Govaerts, K. Verbert, E. Duval, and A. Pardo. The Student Activity Meter for
Awareness and Self-reflection. In CHI ’12 Extended Abstracts on Human Factors
in Computing Systems, CHI EA ’12, pages 869–884, New York, NY, USA, 2012.
ACM.
8. J. Laflaquière. Conception de système à base de traces numériques pour les environnements informatiques documentaires. PhD thesis, Université de Technologie
de Troyes, France, 2009.
9. E. Lavoué, G. Molinari, Y. Prié, and S. Khezami. Reflection-in-action markers
for reflection-on-action in Computer-Supported Collaborative Learning settings.
Computers & Education, 88 :129–142, Oct. 2015.
10. D. Leony, A. Pardo, L. de la Fuente Valentı́n, D. S. de Castro, and C. D. Kloos.
GLASS : A Learning Analytics Visualization Tool. In Proceedings of the 2Nd
International Conference on Learning Analytics and Knowledge, LAK ’12, pages
162–163, New York, NY, USA, 2012. ACM.
11. T. D. Loboda, J. Guerra, R. Hosseini, and P. Brusilovsky. Mastery Grids : An
Open-source Social Educational Progress Visualization. In Proceedings of the 2014
Conference on Innovation &#38 ; Technology in Computer Science Education,
ITiCSE ’14, pages 357–357, New York, NY, USA, 2014. ACM.
12. J. L. Santos, S. Govaerts, K. Verbert, and E. Duval. Goal-oriented Visualizations
of Activity Tracking : A Case Study with Engineering Students. In Proceedings
of the 2Nd International Conference on Learning Analytics and Knowledge, LAK
’12, pages 143–152, New York, NY, USA, 2012. ACM.
22
13. B. Shneiderman. The eyes have it : a task by data type taxonomy for information
visualizations. In , IEEE Symposium on Visual Languages, 1996. Proceedings,
pages 336–343, Sept. 1996.
14. K. Verbert, E. Duval, J. Klerkx, S. Govaerts, and J. L. Santos. Learning Analytics
Dashboard Applications. American Behavioral Scientist, 57(10) :1500–1509, Oct.
2013.
15. M. Wolpers, J. Najjar, K. Verbert, and E. Duval. Tracking Actual Usage : the
Attention Metadata Approach. Journal of Educational Technology & Society,
10(3) :106–121, 2007.
An Ontology to Enable Linked Data Driven
Serious Games
Oscar Rodrı́guez Rocha1 , Catherine Faron Zucker2
1
2
INRIA Sophia Antipolis Méditerranée, Sophia Antipolis, France.
[email protected]
Univ. Nice Sophia Antipolis, CNRS, I3S, UMR 7271, Sophia Antipolis, France
[email protected]
Abstract. Given the increasing amount of structured data published on
the Web, many possibilities are open for creating new types of Serious
Games that represent resources from the Web of Data. In particular, if
we consider the subcategory of Serious Games in which the object of the
game is to educate the user through the interactive discovery of reallife concepts (associated to Semantic Web resources), the inclusion of a
semantic representation of the user profile and his contextual information
becomes an important element to recommend the user more accurate
concepts. This paper proposes and describes an ontology that allows the
creation of Serious Games with these characteristics.
1
Introduction
Although Serious Games have been around for a long time (as shown in [1] where
authors present a discussion of the historical origins of this term), their origin is
often attributed to Sawyer and Rejeski, which in their white paper proposed in
2002 and entitled Serious Games: Improving Public Policy Through Game-based
Learning and Simulation[2], proposed the use of entertainment video games in
public organizations. We adopt the definition of [3]: Serious Games are “games
that do not have entertainment, enjoyment, or fun as their primary purpose”.
The increasing amount of structured data published on the Web according
to the Linked Data principles opens many possibilities for creating new types of
Serious Games. Thanks to the efforts of the scientific community and the W3C
LOD project3 , in the last years more and more data have been published on
the Web, resulted in a global data space called the Web of Data[4]. Its growth
has been measured by the LOD cloud diagram4 , which shows how in the first
measurement in 2007 there were only 12 datasets compared to the 570 found in
the last measurement (at the time of writing) made in 2014.
These linked datasets may be used as knowledge bases to build Serious
Games. In particular, if we consider the subcategory of Serious Games in which
the object of the game is to educate the user through the interactive discovery
3
4
http://www.w3.org/wiki/SweoIG/TaskForces/CommunityProjects/LinkingOpenData
http://lod-cloud.net
24
O. Rodríguez Rocha & C. Faron Zucker
of real-life concepts (associated to Semantic Web resources), the inclusion of a
semantic representation of the user profile and his contextual information becomes and important element to recommend the user more accurate concepts.
Therefore, this paper proposes an ontology that allows the creation of Serious
Games with these characteristics.
The remainder of this paper is structured as follows: In section 2, we present
the state of the art on Semantic Web based Serious Games. In section 3, we
present and describe in detail the ontology we propose. In section 4, we describe
the Semantic Educloud project, and the associated real use case in which we
plan to apply the proposed ontology. Finally conclusions and future work are
presented in Section 5.
2
Related Work
There are two main categories of research works combining Serious Games and
Semantic Web. On one hand, we can find some works that propose an approach
to build Semantic Web ontologies through the use of serious games, that is,
when such games are used to motivate and encourage end users to provide their
knowledge to enable the creation or enrichment of an ontology. Ontogames [5–7]
propose “to masquerade user contributions to collaborative ontology engineering
behind on-line, multi-player game scenarios in order to establish proper incentives for humans to help building ontologies for the Semantic Web”. an example
of an Ontogame, can be found in [8], where authors present SeaFish, “a game
for collaborative image annotation and interlinking without text”.
On the other hand, we can find research works that focus on creating Serious
Games from models and ontologies. In [9] a preliminary Meta-Model is presented
to facilitate the development of educational games; however the authors neither
present a prototype game (that allows them to verify their model) nor an ontology for modeling games of this kind. A very inspiring work for this paper, is
presented in [10], where authors propose a game content model (that represents a
game ontology) that can help game designers to document specifications of game
design. As it will be detailed in this paper, their presented ontology is the foundation of our proposal that in addition provides the means to model the context
and the user’s profile to enable recommendation of educational resources.
With regard to knowledge representation in Serious Games, authors in [11]
present 6 prototype games to give an example of approaches to represent Linked
Data (from the LOD cloud) and Open Data (from government, companies and
organizations). The difference with our work is that we focus on providing an
ontology that gives the means to developers to create Serious Games that exploit
the knowledge present in the Linked Data sources.
3
A Base Ontology for LOD-based Serious Games
The ontology we propose in this paper has been designed (but is not limited
to) to enable the creation of Serious Games that use Linked Data datasets as
An Ontology to Enable Linked Data Driven Serious Games
25
a knowledge base to represent resources and propose them to end users, taking
advantage of their profile and context.
Our ontology takes as a basis the work presented in [10], where authors
describe a Game Content Model(GCM) that represents a game ontology from an
interactive content viewpoint. In order to represent the rules, play and aesthetic
information of a computer game, authors identified ten key concepts to be present
in their GCM, thus in their ontology:
Game Structure
Describes the architecture and flow of the game. It is subsequently divided
into game sections that represent segments of the game.
Game Presentation
Is a virtual canvas that holds media components and GUI components to
present information about the game and allow to navigate through the game
structure.
Game Simulation
Represents the mechanisms that recreates scenarios virtually, for game play.
Game Rule
States the relationships between game objects and the game world and the
effect of an interaction.
Game Scenario
Is a description of a situation which requires game player to overcome a
number of challenges in order to achieve the defined objects.
Game Event
Describes the happening associated to a game scenario.
Game Objective
Can be defined as the goal associated to a game scenario.
Game Objects
Are virtual things that populate the game world and can be designed to have
a combination of abilities such as decision making, moving, acting and responding to surroundings and game player’s input simulating their existence
in the game world.
Game Player
Is the user of the game who provides inputs as part of the gaming activity. A
Game Player is represented as an entity with an avatar, game attributes, an
inventory, game control and game records. But as it will be explained in 3.1,
our proposal foresees extending this representation through the introduction
of concepts from the FOAF vocabulary5 , in order to capture a more detailed
representation of the player profile that can be used at anytime to improve
the game, and the PRISSMA6 vocabulary in order to capture a more detailed
representation of the player context.
Game Theme
Describes most of the art requirements related to the game through expressive written text.
5
6
http://www.foaf-project.org
http://ns.inria.fr/prissma
26
In the following we propose an extension of this ontology to represent the
game user profile and context, the game knowledge base and the learning monitoring.
3.1
Player Profile and Context
As mentioned before, the importance of extending the original ontology to collect
both more detailed profile information and the context of the game player is a key
to improve the educational resource recommendations that the game proposes
him. To achieve this, our ontology reuses the FOAF and PRISSMA vocabularies.
The PRISSMA vocabulary “provides classes and properties to model core
mobile context concepts useful for dynamic adaptation of user interfaces for RDF
data”[12] and works in conjunction with the Fresnel presentation vocabulary7 .
PRISSMA considers 3 dimensions to show the Fresnel Lenses and Formats:
User Represents a target mobile user and consists in a “Person” class of the
FOAF vocabulary. Particularly in our ontology, considering the player as a
“mobile user” allows us to obtain more of his contextual information through
the sensors of his mobile device.
Device Represents the mobile device on which Web of Data consumption takes
place. This dimension opens up possibilities to show (play) a Serious Game
from a mobile device, allowing also the representation of resources specific
to a device.
Environment Models the physical context in which the Web of Data resource
consumption takes place. In general, it enables customized resource representation according to specific situations. In the context of Serious Games,
it enables a proper contextual recommendation of educational resources.
3.2
Game Knowledge Base
Our ontology foresees that serious games created with it may have one or more
semantic knowledge bases (Linked Datasets) from which data can be taken either to be represented as internal elements inside the game or as resources to
be recommended to the player. To describe these datasets and their characteristics, we have incorporated the Void (“Vocabulary of Interlinked Datasets”)8
vocabulary.
In short, we reuse the two following classes:
Dataset Represents a dataset that is published and maintained by a single
provider, available as RDF, and accessible, through HTTP URIs or a SPARQL
endpoint.
Linkset Is a subclass of Dataset, used for storing triples to express the interlinking relationship between datasets.
7
8
http://www.w3.org/2005/04/fresnel-info/
http://www.w3.org/TR/void/
3.3
27
Player Learning Monitoring
In addition, in order to monitor the learning of a game player, we have extended
the original ontology to express events related to the learning of a specific player,
by implementing the simple and statements-based9 vocabulary10 used by the
TIN CAN API11 .
With this approach we are able to register the learning-related events of
players and at the same time, maintain compatibility with the TIN CAN API.
4
The Semantic Educloud Project
Since 2013, the Educloud Project12 brings together high-tech companies based in
Sophia-Antipolis (France), the University of Nice Sophia Antipolis, the General
Council of the Alpes-Maritimes and the Academy of Nice.
The idea of creating a Serious Game for college students has emerged as an
initiative of the project leader Gayatech13 . This innovative concept proposes to
immerse the student as a superhero in a period of time (corresponding to his
level of education) and in a city of his environment. The student discovers a
virtually created real-life scenario and must solve puzzles that will confront him
against the myths and beliefs of that time. While immersed in a 3D world, the
student will be able to acquire new skills and knowledge of Art History, visual
arts, geography and technology. Different games will offer him the opportunity
to time travel as he keeps solving the puzzles.
From a technical point of view, the goal is to create a true gaming experience,
both in the style and in the gameplay, nevertheless able to maintain a rigorous
educational requirement. This ambitious project is based on the Gayatech’s skills
in cloud data hosting, and Shiva 3D engine, and their experience in the gaming
world.
In the context of this project, the Semantic Educloud project has been created in collaboration with Inria to improve the recommendation of educational
resources (proposed to Educloud learners) by using Semantic Web models and
techniques, Linked Data resources as well as the learner’s profile and contextual
information. The ontology presented in this paper represents the basis for the
development of this project.
5
Conclusions and Future Work
In this paper, we have presented our ontology to model Serious Games focused on
the recommendation of resources by taking into account the profile and context
information of the game player. To create it, we have taken as basis an existing
9
10
11
12
13
https://github.com/adlnet/xAPI-Spec/blob/master/xAPI.md#statement
https://github.com/adlnet/xAPI-Spec/blob/master/xAPI.md#definitions
http://tincanapi.com
http://www.gaya-technology.com/educloud/
http://www.gaya-technology.com
28
ontology designed to represent and document Serious Games. We have enhanced
it with existing vocabularies available in the Linked Data cloud:
– FOAF and PRISSMA, to handle the context and profile information of the
game player, as well as the context-based resource representation.
– VoID, to represent the datasets that the game can exploit as a knowledge
base (either to represent resources as items inside it or to recommend them
to the game player).
– An implementation of the simple vocabulary proposed by the TIN CAN API,
to monitor the events related to the learning during the game of a player.
This proposed ontology will be used in the context of the Semantic Educloud
project, whose goal is to add semantic technologies in the Educloud project and
benefit from the resources available on the Linked Data cloud.
References
1. Djaouti, D., Alvarez, J., Jessel, J.P., Rampnoux, O.: Origins of serious games.
In Ma, M., Oikonomou, A., Jain, L.C., eds.: Serious Games and Edutainment
Applications. Springer London (2011) 25–43
2. Sawyer, B., Rejeski, D.: Serious games: Improving public policy through gamebased learning and simulation. Woodrow Wilson International Center for Scholars
(2002)
3. Michael, D.R., Chen, S.L.: Serious Games: Games That Educate, Train, and Inform. Muska & Lipman/Premier-Trade (2005)
4. Bizer, C., Heath, T., Berners-Lee, T.: Linked data - the story so far. Int. J.
Semantic Web Inf. Syst. 5(3) (2009) 1–22
5. Siorpaes, K., Hepp, M.: Ontogame: Towards overcoming the incentive bottleneck
in ontology building. In Meersman, R., Tari, Z., Herrero, P., eds.: On the Move to
Meaningful Internet Systems 2007: OTM 2007 Workshops. Volume 4806 of Lecture
Notes in Computer Science. Springer Berlin Heidelberg (2007) 1222–1232
6. Siorpaes, K., Hepp, M.: Ontogame: Weaving the semantic web by online games.
In Bechhofer, S., Hauswirth, M., Hoffmann, J., Koubarakis, M., eds.: The Semantic Web: Research and Applications. Volume 5021 of Lecture Notes in Computer
Science. Springer Berlin Heidelberg (2008) 751–766
7. Siorpaes, K., Hepp, M.: Games with a purpose for the semantic web. IEEE
Intelligent Systems 23(3) (May 2008) 50–60
8. Thaler, S., Siorpaes, K., Mear, D., Simperl, E., Goodman, C.: Seafish: A game
for collaborative and visual image annotation and interlinking. In Antoniou, G.,
Grobelnik, M., Simperl, E., Parsia, B., Plexousakis, D., De Leenheer, P., Pan, J.,
eds.: The Semanic Web: Research and Applications. Volume 6644 of Lecture Notes
in Computer Science. Springer Berlin Heidelberg (2011) 466–470
9. Longstreet, C., Cooper, K.: Developing a meta-model for serious games in higher
education. In: Advanced Learning Technologies (ICALT), 2012 IEEE 12th International Conference on. (July 2012) 684–685
10. Tang, S., Hanneghan, M.: Game content model: An ontology for documenting
serious game design. In: Developments in E-systems Engineering (DeSE), 2011.
(Dec 2011) 431–436
29
11. Friberger, M.G., Togelius, J.: Generating game content from open data. In: International Conference on the Foundations of Digital Games, FDG ’12, Raleigh, NC,
USA, May 29 - June 01, 2012. (2012) 290–291
12. Costabello, L.: DC proposal: Prissma, towards mobile adaptive presentation of the
web of data. In: The Semantic Web - ISWC 2011 - 10th International Semantic
Web Conference, Bonn, Germany, October 23-27, 2011, Proceedings, Part II. (2011)
269–276
Discovering Prerequisite Structure of Skills through
Probabilistic Association Rules Mining
Yang Chen, Pierre-Henri Wuillemin, Jean-Marc Labat
Sorbonne Universites, UPMC, Univ. Paris 6, UMR 7606, LIP6, Paris, France
CNRS, UMR 7606, CNRS, Paris, France
4 Place Jussieu, 75005 Paris, France
{yang.chen, pierre-henri.wuillemin, jeanmarc.labat}@lip6.fr
Abstract. Estimating the prerequisite structure of skills is a crucial issue in
domain modeling. Students usually learn skills in sequence since the preliminary skills need to be learned prior to the complex skills. The prerequisite relations between skills underlie the design of learning sequence and adaptation
strategies for tutoring systems. The prerequisite structures of skills are usually
studied by human experts, but they are seldom tested empirically. Due to plenty
of educational data available, in this paper, we intend to discover the prerequisite structure of skills from student performance data. However, it is a challenging task since skills are latent variables. Uncertainty exists in inferring student
knowledge of skills from performance data. Probabilistic Association Rules
Mining proposed by Sun et al. (2010) is a novel technique to discover association rules from uncertain data. In this paper, we preprocess student performance
data by an evidence model. Then the probabilistic knowledge states of students
estimated by the evidence model are used by the probabilistic association rules
mining to discover the prerequisite structure of skills. We adapt our method to
the testing data and the log data with different evidence models. One simulated
data set and two real data sets are used to validate our method. The discovered
prerequisite structures can be provided to assist human experts in domain modeling or to validate the prerequisite structures of skills from human expertise.
Keywords: Probabilistic association rules mining, Skill structure, Prerequisite,
DINA, BKT
1
INTRODUCTION
In most Intelligent Tutoring Systems (ITSs) and other educational environments,
learning sequence is an important issue investigated by many educators and researchers. It is widely believed that students should be capable of solving the easier problems before the difficult ones are presented to them, and likewise, some preliminary
skills should be learned prior to the learning of the complex skills. The prerequisite
relations between problems and between skills underlie the adaptation strategies for
This paper has been presented in Proceedings of EDM 2015
All rights reserved
32
Y. Chen, P-H. Wuillemin & J-M. Labat
tutoring and assessments. Furthermore, improving the accuracy of a student model
with the prerequisite structure of skills has been exemplified by [1, 2]. The prerequisite structures of problems and skills are in accordance with the Knowledge Space
Theory [3] and Competence-based Knowledge Space Theory [4]. A student’s
knowledge state should comply with the prerequisite structure of skills. If a skill is
mastered by a student, all the prerequisites of the skill should also be mastered by the
student. If any prerequisite of a skill is not mastered by a student, it seems difficult for
the student to learn the skill. Therefore, according to the knowledge states of students,
we can uncover the prerequisite structure of skills. Most prerequisite structures of
skills reported in the student modeling literature are studied by domain or cognition
experts. It is a tough and time-consuming task since it is quite likely that the prerequisite structures from different experts on the same set of skills are difficult to come to
an agreement. Moreover, the prerequisite structures from domain experts are seldom
tested empirically. Nowadays, some prevalent data mining and machine learning
techniques have been applied in cognition models, benefiting from large educational
data available through online educational systems. Deriving the prerequisite structures
of observable variables (e.g. problems) from data has been investigated by some researchers. However, discovering prerequisite structures of skills is still challenging
since a student’s knowledge of a skill is a latent variable. Uncertainty exists in inferring student knowledge of skills from performance data. This paper aims to discover
the prerequisite structures of skills from student performance data.
2
RELATED WORK
With the emerging educational data mining techniques, many works have investigated
the discovery of the prerequisite structures within domain models from data. The
Partial Order Knowledge Structures (POKS) learning algorithm is proposed by
Desmarais and his colleagues [5] to learn the item to item knowledge structures (i.e.
the prerequisite structure of problems) which are solely composed of the observable
nodes, like answers to test questions. The results from the experiments over their three
data sets show that the POKS algorithm outperforms the classic BN structure learning
algorithms [6] on the predictive ability and the computational efficiency. Pavlik Jr. et
al. [7] used the POKS algorithm to analyze the relationships between the observable
item-type skills, and the results were used for the hierarchical agglomerative clustering to improve the skill model. Vuong et al. [8] proposed a method to determine the
dependency relationships between units in a curriculum with the student performance
data that are observed at the unit level (i.e. graduating from a unit or not). They used
the statistic binominal test to look for a significant difference between the performance of students who used the potential prerequisite unit and the performance of
students who did not. If a significant difference is found, the prerequisite relation is
deemed to exist. All these methods above are proposed to discover prerequisite structures of the observable variables. Tseng et al. [9] proposed to use the frequent association rules mining to discover concept maps. They constructed concept maps by mining frequent association rules on the data of the fuzzy grades from students’ testing.
Discovering Prerequisite Structure of Skills through Probabilistic Association Rules Mining
33
They used a deterministic method to transfer frequent association rules on questions
to the prerequisite relations between concepts, without considering the uncertainty in
the process of transferring students’ performance to their knowledge. Deriving the
prerequisite structure of skills from noisy observations of student knowledge is considered in the approach of Brunskill [10]. In this approach, the log likelihood is computed for the precondition model and the flat model (skills are independent) on each
skill pair to estimate which model better fits the observed student data. Scheines et al.
[11] extended causal discovery algorithms to discover the prerequisite structure of
skills by performing statistical tests on latent variables. In this paper, we propose to
apply a data mining technique, namely the probabilistic association rules mining, to
discover prerequisite structures of skills from student performance data.
3
METHOD
Association rules mining [12] is a well-known data mining technique for discovering
the interesting association rules in a database. Let
be a set of attributes
(called items) and
be a set of records (or transactions), i.e. a database.
Each record contains the values for all the attributes in I. A pattern (called itemset)
contains the values for some of the attributes in I. The support count of pattern X is
the number of records in D that contain X, denoted by
. An association rule is an
implication of the form
, where X and Y are related to the disjoint sets of attributes. Two measures are commonly used to discover the strong or interesting association rules: the support of rule
denoted by
, which is the percentage of
records in D that contain
, i.e.
; the confidence denoted by
,
which is the percentage of records in D containing X that also contains Y, i.e.
.
The rule
is considered strong or interesting if it satisfies the following condition:
( Sup ( X  Y )  minsup )
 (Conf ( X  Y )  minconf )
(1)
where minsup and minconf denote the minimum support threshold and the minimum
confidence threshold. The support threshold is used to discover frequent patterns in a
database, and the confidence threshold is used to discover the association rules within
the frequent patterns. The support condition makes sure the coverage of the rule, that
is, there are adequate records in the database to which the rule applies. The confidence condition guarantees the accuracy of applying the rule. The rules which do not
satisfy the support threshold or the confidence threshold are discarded in consideration of the reliability. Consequently, the strong association rules could be selected by
the two thresholds.
To discover the skill structure, a database of students’ knowledge states is required.
The knowledge state of a student is a record in the database and the mastery of a skill
is a binary attribute with the values mastered (1) and non-mastered (0). If skill Si is a
prerequisite of skill Sj, it is most likely that Si is mastered given that Sj is mastered,
and that skill Sj is not mastered given that Si is not mastered. Thus this prerequisite
relation corresponds with the two association rules:
and
. If
34
both the association rules exist in a database, Si is deemed a prerequisite of Sj. To
examine if both the association rules exist in a database, according to condition (1),
the following conditions could be used:
( Sup ( Sj  1  Si  1)  minsup )
 (Conf ( Sj  1  Si  1)  minconf )
(2)
( Sup ( Si  0  Sj  0)  minsup )
 (Conf ( Si  0  Sj  0)  minconf )
(3)
When condition (2) is satisfied, the association rule
is deemed to exist in
the database, and when the condition (3) is satisfied, the association rule
is deemed to exist in the database. Theoretically, if skill Si is a prerequisite of Sj, all
the records in the database should comply with the two association rules. To be exact,
the knowledge state
should be impossible, thereby
should
be 0. According to the equations (4) and (5), the confidences of the rules in the equations should be 1.0. Since noise always exists in real situations, when the confidence
of an association rule is greater than a threshold, the rule is considered to exist if the
support condition is also satisfied. We cannot conclude that the prerequisite relation
exists if one rule exists but the other not. For instance, the high confidence of the rule
might be caused by the high proportion
in the data.
Conf ( Sj  1  Si  1)  P( Si  1 Sj  1)

 ( Si  1, Sj  1)
1
 ( Si  1, Sj  1)   ( Si  0, Sj  1)
(4)
Conf ( Si  0  Sj  0)  P( Sj  0 Si  0)

 ( Si  0, Sj  0)
1
 ( Si  0, Sj  0)   ( Si  0, Sj  1)
(5)
The discovery of the association rules within a database depends on the support and
confidence thresholds. When the support threshold is given a relatively low value,
more skill pairs will be considered as frequent patterns. When the confidence threshold is given a relatively low value, the weak association rules within frequent patterns
will be deemed to exist. As a result, the weak prerequisite relations will be discovered. It is reasonable that the confidence threshold should be higher than 0.5. The
selection of the two thresholds requires human expertise. Given the data about the
knowledge states of a sample of students, the frequent association rules mining can be
used to discover the prerequisite relations between skills.
However a student’s knowledge state cannot be directly obtained since student
knowledge of a skill is a latent variable. In common scenarios, we collect the performance data of students in assessments or tutoring systems and estimate their
knowledge states according to the observed data. The evidence models that transfer
the performance data of students to their knowledge states in consideration of the
noise have been investigated for several decades. The psychometric models DINA
(Deterministic Input Noisy AND) and NIDA (Noisy Input Deterministic AND) [13]
35
have been used to infer the knowledge states of students from their response data on
the multi-skill test items. The well-known Bayesian Knowledge Tracing (BKT) model
[14] is a Hidden Markov model that has been used to update students’ knowledge
states according to the log files of their learning in a tutoring system. A Q-matrix
which represents the items to skills mapping is required in these models. The Qmatrix is usually created by domain experts, but recently some researchers [15, 16,
17] investigated to extract an optimal Q-matrix from data. Our method assumes that
an accurate Q-matrix is known, like the method in [11]. Since the noise (e.g. slipping
and guessing) is considered in the evidence models, the likelihood that a skill is mastered by a student can be estimated. The estimated knowledge state of a student is
probabilistic, which incorporates the probability of each skill mastered by the student.
Table 1 shows an example of the database consisting of probabilistic knowledge
states. For example, the probabilities that skills S1, S2 and S3 are mastered by student
“st ” are .9 .8 and .9 respectively.
We discover the prerequisite relations between skills from the probabilistic
knowledge states of students that are estimated by an evidence model. The frequent
association rules mining can no longer be used to discover the prerequisite relations
between skills from a probabilistic database. Because any attribute value in a probabilistic database is associated with a probability. A probabilistic database can be interpreted as a set of deterministic instances (named possible worlds) [18], each of
which is associated with a probability. We assume that the noise (e.g. slipping, guessing) causing the uncertainty for different skills is mutually independent. In addition,
we assume that the knowledge states of different students are observed independently.
Under these assumptions, the probability of a possible world in our database is the
product of the probabilities of the attribute values over all the records in the possible
world [18, 19, 20]. For example, a possible world for the database in Table 1 is that
both the knowledge states of the students “st ” and “st2” are S1=1, S2=0, S3=1},
whose probability is about 0.0233 (i.e. .9 .2 .9 .2 .9 .8). The support count
of a pattern in a probabilistic database should be computed with all the possible
worlds. Thus the support count is no longer a deterministic number but a discrete
random variable. Figure 1 depicts the probability mass function (pmf) of the support
count of pattern {S1=1, S2=1} in the database of Table 1. For instance, the probability
of
is about 0.7112, which is the sum of the probabilities of all the
possible worlds in which only one record contains the pattern {S1=1, S2=1}. Since
there are an exponential number of possible worlds in a probabilistic database (e.g. 2 6
possible worlds in the database of Table 1), computing the support count of a pattern
is expensive. The Dynamic-Programming algorithm proposed by Sun et al. [20] is
used to efficiently compute the support count pmf of a pattern.
Table 1. A database of probabilistic knowledge states
Student ID
st1
st2
Probabilistic Knowledge State
{S1: 0.9, S2: 0.8, S3: 0.9}
{S1: 0.2, S2: 0.1, S3: 0.8}
36
Figure 1. The support count pmf of the pattern {S1=1, S2=1} in the database of Table 1
To discover the prerequisite relations between skills from the probabilistic knowledge
states of students, the probabilistic association rules mining technique [20] is used in
this paper, which is an extension of the frequent association rules mining to discover
association rules from uncertain data. Since the support count of a pattern in a probabilistic database is a random variable, the conditions (2) and (3) are satisfied with a
probability. Hence the association rules derived from a probabilistic database are also
probabilistic. We use the formula proposed by [20] to compute the probability of an
association rule satisfying the two thresholds. It can be also interpreted as the probability of a rule existing in a probabilistic database. For instance, the probability of the
association rule
existing in a probabilistic database is the probability that
the condition (2) is satisfied in the database:
PSj  1  Si  1
 PSupSj  1  Si  1  minsup  Conf Sj  1  Si  1  minconf
1  minconfn

N
f Si  1, Sj  1n

n  minsup N
minconf

m0
(6)
f Si  0, Sj  1m
where N is the number of records in the database and denotes the support count
pmf of pattern X, and
.
The probability of the rule related to condition (3) is computed similarly. According
to formula (6), the probability of an association rule changes with the support and
confidence thresholds. Given the two thresholds, the probability of an association rule
existing in a probabilistic database can be computed. And if the probability is very
close to 1.0, the association rule is considered to exist in the database. If both the association rules related to a prerequisite relation are considered to exist, the prerequisite relation is considered to exist. We can use another threshold, the minimum probability threshold denoted by minprob, to select the most possible association rules.
Thus, if both
and
are satisfied, Si is
deemed a prerequisite of Sj. When a pair of skills are estimated to be the prerequisite
of each other, the relation between them are symmetric. It means that the two skills
are mastered or not mastered simultaneously. The skill models might be improved by
merging the two skills with the symmetric relation between them.
4
37
EVALUATION
We use one simulated data set and two real data sets to validate our method. The prerequisite structure derived from the simulated data is compared with the presupposed
structure that is used to generate the data, while the prerequisite structure derived
from the real data is compared with the structure investigated by another research on
the same dataset or the structure from human expertise. Moreover, we adapt our
method to the testing data and the log data. Different evidence models are used to
preprocess the two types of data to get the probabilistic knowledge states of students.
The DINA model is used for the testing data, whereas the BKT model is used for the
log data.
4.1
Simulated Testing Data
Data set. We use the data simulation tool available via the R package CDM [21] to
generate the dichotomous response data according to a cognitive diagnosis model (the
DINA model used here). The prerequisite structure of the four skills is presupposed as
Figure 3(a). According to this structure, the knowledge space decreases to be composed of six knowledge states, that is ∅, {S1}, {S1, S2}, {S1, S3}, {S1, S2, S3}, {S1,
S2, S3, S4}. The reduced knowledge space implies the prerequisite structure of the
skills. The knowledge states of 1200 students are randomly generated from the reduced knowledge space restricting every knowledge state type in the same proportion
(i.e. 200 students per type). The simulated knowledge states are used as the input of
the data simulation tool. There are 10 simulated testing questions, each of which requires one or two of the skills for the correct response. The slip and guess parameters
for each question are restricted to be randomly selected in the range of 0.05 and 0.3.
According to the DINA model with these specified parameters, the data simulation
tool generates the response data. Using the simulated response data as the input of a
flat DINA model, the slip and guess parameters of each question in the model are
estimated and the probability of each student’s knowledge on each skill is computed.
The tool for the parameter estimation of DINA model is also available through the R
package CDM [21], which is performed by the Expectation Maximization algorithm
to maximize the marginal likelihood of data.
Result. The estimated probabilistic knowledge states of the simulated students are
used as the input data to discover the prerequisite relations between skills. For each
skill pair, there are two prerequisite relation candidates. For each prerequisite relation
candidate, we examine if the two corresponding association rules
and
exist in the database. The probability of an association rule existing in the
database is computed according to formula (6), which is jointly affected by the selected support and confidence thresholds. For the sake of clarity, we look into the effect
of one threshold leaving the other one unchanged. The joint effect of the two thresholds will be discussed in section 4.4. Giving a small constant to one threshold that all
the association rules satisfy (perhaps several trials are needed or simply assign 0.0),
we can observe how the probabilities of the association rules change with different
values of the other threshold.
38
Figure 2. The probabilities of the association rules in the simulated data given different confidence or support thresholds
Figure 2 (a) and (b) describe how the probabilities of the corresponding association
rules in the simulated data change with different confidence thresholds, where the
support threshold is given as a constant (0.125 here). When the probability of a rule is
close to 1.0, the rule is deemed to satisfy the thresholds. All the association rules satisfy the support threshold since their probabilities are almost 1.0 at first. The rules in
the two figures corresponding to the same prerequisite relation candidate are depicted
in the same color. In the figures, when the confidence threshold varies from 0.2 to 1.0,
the probabilities of the different rules decrease from 1.0 to 0.0 in different intervals of
threshold value. When we choose different threshold values, different sets of rules
will be discovered. In each figure, there are five rules that can satisfy the significantly
higher threshold. Given minconf=0.78, the probabilities of these rules are almost 1.0
whereas others are almost 0.0. These rules are very likely to exist. Moreover, the discovered rules in the two figures correspond to the same set of prerequisite relation
candidates. Accordingly, these prerequisite relations are very likely to exist. To make
sure the coverage of the association rules satisfying the high confidence threshold, it
39
is necessary to know the support distributions of these rules. Figure 2 (c) and (d) illustrate how the probabilities of the corresponding association rules change with different support thresholds. The confidence threshold is given as a constant 0.76, and five
association rules in each figure satisfy this threshold. Only on these rules, the effect of
different support thresholds can be observed. In each figure, the rules gather in two
intervals of threshold value. For example, in Figure 2 (c), to select the rules corresponding to r3, r5 and r6, the highest value for the support threshold is roughly 0.17,
while for the other two rules, it is 0.49. If both the confidence threshold and the support threshold are appropriately selected, the most possible association rules will be
distinguished from others. As a result, the five prerequisite relations can be discovered in this experiment.
S1
S1
S2
S2
S3
S4
S4
(a)
S3
(b)
(c)
(a)
Figure 3. (a) Presupposed prerequisite structure of the skills in the simulated data; (b) Probabilities of the association rules in the simulated data given minconf=0.76 and minsup=0.125, brown
squares denoting impossible rules; (c) Discovered prerequisite structure
Figure 3 (b) illustrates the probabilities of the corresponding association rules in the
simulated data given minconf=0.76 and minsup . 25. A square’s color indicates the
probability of the corresponding rule. Five association rules in each of the figures
whose probabilities are almost 1.0 are deemed to exist. And the prerequisite relations
corresponding to the discovered rules are deemed to exist. To qualitatively construct
the prerequisite structure of skills, every discovered prerequisite relation is represented by an arc. It should be noted that the arc representing the relation that S1 is a prerequisite of S4 is not present in Figure 3 (a) due to the transitivity of prerequisite relation. Consequently, the prerequisite structure discovered by our method which is
shown in Figure 3 (c), is completely in accordance with the presupposed structure
shown in Figure 3 (a).
4.2
Real Testing Data
Data set. The ECPE (Examination for the Certification of Proficiency in English)
data set is available through the R package CDM [21], which comes from a test developed and scored by the English Language Institute of the University of Michigan
[22]. A sample of 2933 examinees is tested by 28 items on 3 skills, i.e.
Morphosyntactic rules (S1), Cohesive rules (S2), and Lexical rules (S3). The parameter estimation tool in the R package CDM [21] for DINA model is also used in this
experiment to estimate the slip and guess parameters of items according to the student
response data. And with the estimated slip and guess parameters, the probabilistic
40
knowledge states of students are assessed according to the DINA model, which are
the input data for discovering the prerequisite structure of skills.
Figure 4. The probabilities of the association rules in the ECPE data given different confidence
or support thresholds
Result. The effect of different confidence thresholds on the association rules in the
ECPE data is depicted in Figure 4 (a) and (b) given the support threshold as a constant
(0.25 here). In each figure, there are three association rules that can satisfy a significantly higher confidence threshold than others. The maximum value of the confidence
threshold for them is roughly 0.82. And these rules in the two figures correspond to
the same set of prerequisite relation candidates, that is, r4, r5 and r6. Thus these candidates are most likely to exist. It can be noticed that in Figure 4 (a) the rule
can satisfy a relatively high confidence threshold. The maximum threshold value that it can satisfy is roughly 0.74. However, its counterpart in Fig 4 (b), i.e.
the rule
, cannot satisfy a confidence threshold higher than 0.6. When a
strong prerequisite relation is required, the relation corresponding to the two rules
cannot be selected. Only when both the two types of rules can satisfy a high confidence, the corresponding prerequisite relation is considered strong. Likewise, the
effect of different support thresholds is shown in Figure 4 (c) and (d), where the confidence threshold is given as 0.80. And in each figure, only the three association rules
41
which satisfy the confidence threshold are sensitive to different support thresholds. It
can also be found that these rules are supported by a considerable proportion of the
sample. Even when minsup=0.27, all the three rules in each figure satisfy it. According to the figures, when the support and confidence thresholds are appropriately selected, these rules can be distinguished from others. Consequently, the strong prerequisite relations can be discovered.
Given the confidence and support thresholds as 0.80 and 0.25 respectively, for instance, the probabilities of the corresponding association rules are illustrated in Figure
5 (b). The rules that satisfy the two thresholds (with a probability of almost 1.0) are
deemed to exist, which are evidently distinguished from the rules that do not (with a
probability of almost 0.0). Three prerequisite relations shown in Figure 5 (c) are
found in terms of the discovered association rules. To validate the result, we compare
it with the findings of another research on the same data set. The attribute hierarchy,
namely the prerequisite structure of skills, in ECPE data has been investigated by
Templin and Bradshaw [22] as Figure 5 (a). Our discovered prerequisite structure
totally agrees with their findings.
S3
S3
S2
S2
S1
S1
(a)
(b )
(c)
(a)
Figure 5. (a) Prerequisite structure of the skills in the ECPE data discovered by Templin and
Bradshaw [22]; (b) Probabilities of the association rules in the ECPE data given minconf=0.80
and minsup=0.25, brown squares denoting impossible rules; (c) Discovered prerequisite structure
4.3
Real Log Data
Data set. We use the 2006-2 7 school year data of the curriculum “Bridge to Algebra” [23] which incorporates the log files of 1146 students collected by Cognitive
Tutor, an ITS for mathematics learning. The units in this curriculum involve distinct
mathematical topics, while the sections in each unit involve distinct skills on the unit
topic. A set of word problems is provided for each section skill. We use the sections
in the units “equivalent fractions” and “fraction operations” as the skills see Table 2).
There are 560 students in the data set performing to learn one or several of the itemtype skills in these units. The five skills discussed in our experiment are instructed in
the given order in Table 2. A student’s knowledge of the prior skills has the potential
to affect his learning of the new skill. Hence, it makes sense to estimate whether a
skill trained prior to the new skill is a prerequisite of it. If the prior skill Si is a prerequisite of skill Sj, students who have mastered skill Sj quite likely have previously
mastered skill Si, and students not mastering the skill Si quite likely learn the skill Sj
42
with great difficulty. Thus if both the rules
and
data, the prior skill Si is deemed a prerequisite of skill Sj.
exist in the
Table 2. Skills in the curriculum “Bridge to Algebra”
Skill
S1: Writing equivalent fractions
Example
Fill in the blank:
S2: Simplifying fractions
Write the fraction in simplest
form: 24  .
2
 .
3 6
30
S3: Comparing and ordering fractions
Compare the fractions 3 and
4
S4: Adding and subtracting fractions
with like denominators
2
3


10 10
S5: Adding and subtracting fractions
with unlike denominators
2 1
 
3 4
5.
6
To discover the prerequisite relations between skills, firstly we need to estimate the
outcomes of student learning according to the log data. A student learns a skill by
solving a set of problems that requires applying that skill. At each opportunity, student knowledge of a skill probably transitions from the unlearned to learned state.
Thus their knowledge should be updated each time they go through a problem. The
BKT model has been widely used to track the dynamic knowledge states of students
according to their activities on ITSs. In the standard BKT, four parameters are specified for each skill [14]: P(L0) denoting the initial probability of knowing the skill a
priori, P(T denoting the probability of student’s knowledge of the skill transitioning
from the unlearned to the learned state, P(S) and P(G) denoting the probabilities of
slipping and guessing when applying the skill. We implemented the BKT model by
using the Bayes Net Toolbox for Student modeling [24]. The parameter P(L0) is initialized to 0.5 while the other three parameters are initialized to 0.1. The four parameters are estimated according to the log data of students, and the probability of a skill to
be mastered by a student is estimated each time the student performs to solve a problem on that skill. In the log data, students learned the section skills one by one and no
student relearned a prior section skill. If a prior skill Si is a prerequisite of skill Sj, the
knowledge state of Si after the last opportunity of learning it has an impact on learning Sj. We use the probabilities about students’ final knowledge state of Si and Sj to
analyze whether a prerequisite relation exists between them. Thus students’ final
knowledge states on each skill are used as the input data of our method.
Result. The probabilities of the association rules in the log data changing with different confidence thresholds are illustrated in Figure 6 (a) and (b) given the support
threshold as a small constant (0.05 here). In Figure 6 (a), compared with the rules
and
, all the other association rules can satisfy a significantly
higher confidence, while in Figure 6 (b) if given minconf=0.6, only three rules satisfy
43
it. The effect of different support thresholds on the probabilities of the association
rules is depicted in Figure 6 (c) and (d) given the confidence threshold as a constant
(0.3 here). All the association rules satisfy the confidence threshold as the probabilities of the rules are almost 1.0 at first. In Figure 6 (c), there are six rules that can satisfy a relatively higher support threshold (e.g. minsup=0.2). But in Figure 6 (d), even
given minsup=0.14, only the rule
satisfy it, and the maximum value for
the support threshold that all the rules can satisfy is roughly 0.07.
Figure 6. The Probabilities of the association rules in the “Bridge to Algebra 2
given different confidence or support thresholds
6-2 7” data
Given the confidence and support thresholds as 0.6 and 0.1 respectively, the probabilities of the association rules in the log data are depicted in Figure 7 (b). There are
eight of the rules in the form of
(left) and three of the rules in the form of
(right) discovered, whose probabilities to satisfy the thresholds are almost
1.0. According to the result, only the three prerequisite relations shown in Figure 7
(c), whose corresponding rules both are discovered, are deemed to exist. Figure 7 (a)
shows the prerequisite structure of the five skills from the human experts’ opinions. It
44
makes sense that the skills S1 and S2 rather than skill S3 are required for learning the
skills S4 and S5. This is supported by the chapter warm-up content in the student textbook of the course [25]. The discovered rules in the form of
completely
agree with the structure from human expertise. But the discovered rules in the form of
is inconsistent with it. The counterparts of a large part of the discovered
rules
do not satisfy the confidence threshold. Even reducing the confidence threshold to the lowest value, i.e. 0.5, the rules
and
still do not satisfy it (see Figure 6 (b)). It seems that the rules
are more
reliable than
since most of the former can satisfy a higher support threshold than the latter (see Figure 6 (c) and (d)). In addition, the log data is very likely to
contain much noise. It is possible that some skills could be learned if students take
sufficient training, even though some prerequisites are not previously mastered. In
this case, the support count
would increase. Or perhaps students learned
the prerequisite skills by solving the scaffolding questions in the process of learning
new skills, even though they performed not mastering the prerequisite skills before. In
this case, the observed values of
would be higher than the real values.
According to the equations (4) and (5), if
increases, the confidence of
the rules will decrease. And when the noise appears in the data, the confidences of the
association rules which are supported by a small proportion of sample will be affected
much more than those supported by a large proportion of sample.
S1
S1
S2
S2
S3
S3
S4
S4
S5
S5
(a)
(b)
(c)
Figure 7. (a) Prerequisite structure from human expertise; (b) Probabilities of the association
rules in the “Bridge to Algebra 2 6-2 7” data given minconf=0.6 and minsup=0.1, brown
squares denoting impossible rules; (c) Discovered prerequisite structure
4.4
Joint Effect of thresholds
We have discussed the effect of one threshold on the probability of association rules
while eliminating the effect of the other one in the three experiments. To determine
the values for the thresholds, we investigate how the two thresholds simultaneously
affect the probability of an association rule. Figure 8 depicts how the probabilities of
the association rules for the skill pair S2 and S3 in the ECPE data change with different support and confidence thresholds, where (a) and (c) involve one relation candidate while (b) and (d) involve the other one. The figures demonstrate that the probability of a rule decreases almost from 1.0 to 0.0 when the confidence and support
thresholds vary from low to high. It can be found that the rules in the left figures can
satisfy an evidently higher confidence threshold than those in the right figures, and
have the same support distributions with them. If we set minconf=0.8 and
minsup=0.25, only the rules in the left figures satisfy them. Suppose that a rule satisfy
45
the thresholds if its probability is higher than 0.95, i.e. minprob=0.95. When we
change the values of the confidence and support thresholds from 0.0 to 1.0, for each
rule, we can find a point whose coordinates consist of the maximum values of the
confidence and support thresholds that the rule can satisfy. Finding the optimal point
is hard and there are probably several feasible points. To simplify the computation,
the thresholds are given by a sequence of discrete values from 0.0 to 1.0. We find the
maximum value for each threshold when only one threshold affects the probability of
the rule given the other as 0.0. And for each threshold, minprob is given as 0.97,
roughly the square root of the original value. The found maximum values for the two
thresholds are the coordinates of the point. The found point is actually an approximately optimal point. For convenience, the point is named maximum threshold point
in this paper. The points for all the rules in the three data sets are found by our method
as well as plotted in Figure 9 (some points overlap). When we set certain values to the
thresholds, the points located in the upper right area satisfy them and the related rules
are deemed to exist. For one prerequisite relation, a couple of related points should be
verified. Only when both of them are located in the upper right area, they are considered eligible to uncover the prerequisite relation. The eligible points in Figure 8 and
Figure 9 are indicated given the thresholds.
Figure 8. Probabilities of the association rules within the skill pair S2 and S3 in the ECPE data
given different confidence and support thresholds, and their maximum threshold points which
are eligible (green) or not (red) given minconf=0.8 and minsup=0.25
Figure 9. Maximum threshold points for the association rules in our three experiments, where
eligible points are indicated in green given the thresholds
46
5
CONCLUSION AND DISCUSSION
Discovering the prerequisite structure of skills from data is challenging in domain
modeling since skills are the latent variables. In this paper, we propose to apply the
probabilistic association rules mining technique to discover the prerequisite structure
of skills from student performance data. Student performance data is preprocessed by
an evidence model. And then the probabilistic knowledge states of students estimated
by the evidence model are used as the input data of probabilistic association rules
mining. Prerequisite relations between skills are discovered by estimating the corresponding association rules in the probabilistic database. The confidence condition of
an association rule in our method is similar to the statistical hypotheses used in the
POKS algorithm for determining the prerequisite relations between observable variables (see the details in [5]). But our method targets on the challenge of discovering the
prerequisite relations between latent variables from the noisy observable data. In addition, our method takes the coverage into account (i.e. the support condition), which
could strengthen the reliability of the discovered prerequisite relations. Determining
the appropriate confidence and support thresholds is a crucial issue in our method.
The effect of a single threshold and the joint effect of two thresholds on the probabilities of the rules are discussed. The maximum threshold points of the probabilistic
association rules are proposed for determining the thresholds. We adapt our method to
two common types of data, the testing data and the log data, which are preprocessed
by different evidence models, the DINA model and the BKT model. An accurate Qmatrix is required for the evidence models, which is a limitation of our method. According to the results of the experiments in this paper, our method performs well to
discover the prerequisite structures from a simulated testing data set and a real testing
data set. However, applying our method in the log data still needs to be improved.
Since much noise exist in the log data, the strategies to reduce the noise need to be
applied. The prerequisite structures of skills discovered by our method can be applied
to assist human experts in skill modeling or to validate the prerequisite structures of
skills from human expertise.
REFERENCES
1. Käser, T., Klinger, S., Schwing, G., Gross, M.: Beyond Knowledge Tracing: Modeling
Skill Topologies with Bayesian Networks. In Proceedings of the 12th International Conference on Intelligent Tutoring Systems, Honolulu, USA, 188-198, 2014
2. Chen, Y., Wuillemin, P.H., Labat, J.M.: Bayesian Student Modeling Improved by Diagnostic Items. In Proceedings of the 12th International Conference on Intelligent Tutoring
Systems, Honolulu, USA, 144-149, 2014
3. Falmagne, J.C., Cosyn, E., Doignon, J.P., Thiéry, N.: The Assessment of Knowledge, in
Theory and in Practice. In Proceedings of the 4th International Conference on Formal
Concept Analysis, Dresden, Germany, 61-79, 2006
4. Heller, J., Steiner, C., Hockemeyer, C., Albert, D.: Competence-based Knowledge Structures for Personalized Learning. International Journal on E-learning, 5, 75-88, 2006
47
5. Desmarais, M.C., Meshkinfam, P., Gagnon, M.: Learned Student Models with Item to Item
Knowledge Structures. User Modeling and User-adapted Interaction, 16(5), 403-434,
2006
6. Spirtes, P., Glymour, C., Scheines, R.: Causation, Prediction, and Search. 2nd Edition, The
MIT Press, Cambridge, 2000
7. Pavlik Jr., P.I., Cen, H., Wu, L., Koedinger, K.R.: Using Item-type Performance Covariance to Improve the Skill Model of an Existing Tutor. In Proceedings of the 1st International Conference on Educational Data Mining, Montreal, Canada, 77-86, 2008
8. Vuong, A., Nixon, T., Towle, B.: A Method for Finding Prerequisites within a Curriculum.
In Proceedings of the 4th International Conference on Educational Data Mining, Eindhoven, Netherlands, 211-216, 2011
9. Tseng, S.S., Sue, P.C., Su, J.M., Weng, J.F., Tsai, W.N.: A New Approach for Constructing the Concept Map. Computers & Education, 49(3), 691-707, 2007
10. Brunskill, E.: Estimating Prerequisite Structure from Noisy Data. In Proceedings of the 4th
International Conference on Educational Data Mining, Eindhoven, Netherlands, 217-222,
2011
11. Scheines, R., Silver, E., Goldin, I.: Discovering Prerequisite Relationships among
Knowledge Components. In Proceedings of the 7th International Conference on Educational Data Mining, London, UK, 355-356, 2014
12. Agrawal, R., Srikant, R.: Fast Algorithm for Mining Association Rules. In Proceedings of
the 20th International Conference on Very Large Data Bases, San Francisco, USA, 487499, 1994
13. Roussos, L.A., Templin, J.L., Henson, R.A.: Skills Diagnosis Using IRT-based Latent
Class Models. Journal of Educational Measurement, 44(4), 293-311, 2007
14. Corbett, A.T., Anderson, J.R.: Knowledge Tracing: Modeling the Acquisition of Procedural Knowledge. User Modeling and User-Adapted Interaction, 4(4), 253-278, 1995
15. Barnes, T.: The Q-matrix Method: Mining Student Response Data for Knowledge. American Association for Artificial Intelligence 2005 Educational Data Mining Workshop, 2005
16. Desmarais, M.C., Naceur, R.: A Matrix Factorization Method for Mapping Items to Skills
and for Enhancing Expert-Based Q-Matrices. In Proceedings of the 16th International Conference on Artificial Intelligence in Education, Memphis, USA, 441-450, 2013
17. González-Brenes, J.P.: Modeling Skill Acquisition Over Time with Sequence and Topic
Modeling. In Proceedings of the 18th International Conference on Artificial Intelligence
and Statistics, San Diego, USA, 296-305, 2015
18. Bernecker, T., Kriegel, H.P., Renz, M., Verhein, F., Zuefle, A.: Probabilistic Frequent
Itemset Mining in Uncertain Databases. In Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Paris, France, 119-128,
2009
19. Chui, C.K., Kao, B., Hung, E.: Mining Frequent Itemsets from Uncertain Data. In Proceedings of the 11th PAKDD Pacific-Asia Conference on Advances in Knowledge Discovery and Data Mining, Nanjing, China, 47-58, 2007
20. Sun, L., Cheng, R., Cheung, D.W., Cheng, J.: Mining Uncertain Data with Probabilistic
Guarantees. In Proceedings of the 16th ACM SIGKDD International Conference on
Knowledge Discovery and Data Mining, New York, USA, 273-282, 2010
21. Robitzsch, A., Kiefer, T., George, A.C., Uenlue, A.: Package CDM (Version 3.4-21,
2014), http://cran.r-project.org/web/packages/CDM/index.html
22. Templin, J., Bradshaw, L.: Hierarchical Diagnostic Classification Models: A Family of
Models for Estimating and Testing Attribute Hierarchies. Psychometrika, 79, 317-339,
2014
48
23. Stamper, J., Niculescu-Mizil, A., Ritter, S., Gordon, G.J., & Koedinger, K.R.: Bridge to
Algebra 2006-2007. Development data set from KDD Cup 2010 Educational Data Mining
Challenge. Find it at http://pslcdatashop.web.cmu.edu/KDDCup/downloads.jsp
24. Chang, K., Beck, J., Mostow, J., & Corbett, A.: A Bayes Net Toolkit for Student Modeling
in Intelligent Tutoring Systems. In Proceedings of the 8th International Conference on Intelligent Tutoring Systems, Jhongli, Taiwan, 104-113, 2006
25. Hadley, W.S., Raith, M.L.: Bridge to Algebra Student Text. Carnegie Learning. 2008
Educational Data Mining : Methods, Tasks and
Current Trends
Agathe Merceron1
1
Beuth Hochschule für Technik, Berlin, Germany
[email protected]
Résumé In 2008 the first international conference on “educational data
mining” took place in Montreal. Since then the field has grown and established itself with its annual international conference, its open access
journal and its international association. In this talk I will begin with
some considerations on big data in education. I will review the principal
methods used in educational data mining, illustrate some of the tasks
they solve and will present trends that I see emerging in the field. Analysis of educational data on a routine basis to understand learning and
teaching better and to improve them is not a reality yet. I will conclude
with challenges on this way. Talk in French, slides in English.

Environnements Informatiques d`Apprentissage - PFIA 2015

Transcription

Documents pareils

NF Logiciel Sécurité Civile

NF Logiciel Sécurité Civile

Fiche inscription madrassa - Fondation Islamique et Culturelle d`Ahl

QuarkXPress (Débutant) 12h Éléments de contenu :

anglais GMAT

Certificate NF Logiciel de Gestion d`Encaissement

The Ottawa Hospital Job Posting / Offre d`emploi L`Hôpital d`Ottawa

Association Boxing Club de l`Ouest

Gala de Kickboxing, muay thai et K-1 le 18 Juin

SORTIE AU LASER GAME