Vers un observatoire pour la construction et le partage

Projet HUBBLE
Human oBservatory Based on anaLysis of E-learning traces
http://hubblelearn.imag.fr
[email protected]
1
Partenaires
• LIP6 (UPMC)
• LIG (UJF)
• IFE (ENS LYON)
• STEF (ENS Cachan)
• LIRIS (UCL)
• LabSTICC (Télécom Bretagne)
• LIUM (Université du Maine)
• OpenClassrooms
• LINA (U Nantes)
2
Contexte international
• EDM : “discipline, concerned with developing methods for exploring the
unique types of data that come from educational settings, and using those
methods to better understand students, and the settings which they learn
in”.
• http://www.educationaldatamining.org/
• Naissance : tuteurs intelligents, DM
• LA : “the measurement, collection, analysis and reporting of data about
learners and their contexts, for purposes of understanding and optimizing
learning and the environments in which it occurs”.
• http://www.solaresearch.org/
• Naissance : LMS, web, google analytics
3
EDM et LA
4
Siemens & Baker 2011 Learning Analytics and Educational Data Mining: Towards Communication and Collaboration
LA et EIAH
Ce n’est pas nouveau, mêmes questions de recherche
5
Questions de recherche en EIAH
centrées apprenant…
• Comprendre les comportements de l’apprenant
• Comprendre les phénomènes d’interaction entre apprenants
(collaboration, coopération,…)
• Modèle de l’apprenant
• Modèle de diagnostic des connaissances, émotions, compétences,…
• Personnalisation de l’apprentissage
• Méthodes et algorithmes de rétroaction qui favorisent l’apprentissage
• Conception d’interfaces, architectures, …
6
Questions de recherche en EIAH
une place pour l’enseignant…
• Scénarios pédagogiques
• Modéliser l’activité d’enseignement
• Concevoir des formalismes permettant de spécifier la connaissance,
compétences, savoir faires à enseigner
• Concevoir des éditeurs permettant de scénariser les situations
d’apprentissage
• Comprendre les comportements de l’enseignant dans son activité de
suivi, de conception de scénarios, …
• Méthodes et algorithmes pour le suivi
•…
7
La différence
• Les données, des vraies!!!
• La notion de décideur (stakeholder)
• Les analyses doivent fournir une information pédagogique utile
• Gašević, D., Dawson, S., & Siemens, G. 2015
• Les informations doivent permettre l’action, i.e., doivent supporter
le processus de décision
• Brown (2012)
• Les décideurs vont de l’apprenant jusqu’au niveau institutionnel
• Modritcher, Luengo, Law, Hope, Steggman 2015
8
LA, une visions plus holistique
Types de données
collectées,
managées et
utilisées pour
l’analyse
Motivation ou objectifs de
l’analyse
Utilisateurs utilisant l’analyse
techniques et outils pour
produire l’analyse des
données collectées
Greller & Drachsler, 2012
9
LA, une visions plus holistique
Limitations externes :
Conventions (éthiques,
personnels, ..) et les
normes (légales et
contraintes
organisationnels)
Limitations internes :
relatives aux facteurs
humains, comme la
compétence
(interprétation, pensée
critique) et l’acceptation
des conflits et
complications avec les
LA.
Greller & Drachsler, 2012
10
11
Résumé
• Le projet HUBBLE propose la création d’un observatoire pour la
construction et le partage de processus d’analyse des traces elearning « massives ».
• Les processus d’analyse construits accompagneront la prise de
décisions des acteurs intervenant dans le système d’enseignement et
d’apprentissage,
• Ils devront être utilisables et redéployées dans leurs environnements.
• Ils guideront le chercheur en e-learning pour la production de concepts, de
modèles et d’indicateurs.
12
Une vision du projet Hubble
Capitalisation des traitements métiers pour donner du sens
13
3 itérations
Cas d’étude
• Données
• Scénarios
• Modèles
pédagogiques
Collecte
• Outils
• Traces
Analyse
• Processus
• Langages
• Patterns
Exploitation
• Tableaux de
bord pluriacteurs
Ethique
14
Première itération :
travail sur des cas pratiques
Cas d’étude
• MOOC
• Jeux sérieux
• Plateformes
d’exercice
• Formalisation
des cas et
scénarios
Collecte
• Test d’outils
Analyse
Exploitation
• Qualité QCM
• Types
d’apprenants
• Évolution
activité
• Parcours
d’apprenants
Ethique
15
Première itération : cas étudiés
• Tactileomap, ENS Lyon
• Met-toi-à-table !, , ENS Lyon
• LIF3, Lyon 1
• PACES, UJF
• TESTL1, UJF
• Tamagocours, ENS Lyon
• MooCAZ, ENS Cachan
• Comprendre le WEB, OpenClassrooms
Collège
Lycée
Université
Tous au long de la vie
16
Première itération : scénarios d’analyses
Qualité
• Scénario 1 : qualité des questions de type QCM
Personnalisation
Discrimination
Evaluation
• Scénario 2 : identifier des types d’apprenants
• Scénario 3 : évolution des apprenants au cours du
temps
• Scénario 4 : découvrir le parcours des apprenants
sous forme de pattern
17
Cas étudiés, collecte, spécification, analyses /
plateformes
Qualité QCM
Typologie apprenant
Tactileomap
Évolution apprenant
KTBS
Met-toi-à-table !
LIF3
Undertracks
KTBS
Undertracks
PACES
TESTL1
Pattern apprenant
Undertracks
UTL
Undertracks
UTL
KTBS
Undertracks
Tamagocours
Undertracks
KTBS
Undertracks
MooCAZ
KTBS
UTL
KTBS
Undertracks
UTL
Comprendre le WEB
UTL
UTL
18
L’analyse des traces d’enseignement et
d’apprentissage
Un équilibre entre application et recherche
19
Références
•
Chatti, M.A., Dyckhoff, A.L., Schroeder, U., & Thüs, H. “A reference model for learning analytics.” International Journal of Technology Enhanced Learning, 5, 318331, 2012
•
Gašević, D., Dawson, S., & Siemens, G. (2015). Let’s not forget: Learning analytics are about learning. Techtrends, 59(1), 64-71.
•
Greller, W. & Drachsler, H., “Translating learning into numbers: A generic framework for learning analytics”. Educational Technology & Society, 15, 42-57, 2012.
•
Homer, B.D., “IntroductoryTalk to the Learning Analytics and Educational Data Mining Workshop”, CREATE Lab, New York University, April 2013.
•
D3.1 Review article about LA and EDM. FP7 619762 LEA’s BOX
•
Niall Sclater, Learning analytics in the UK, JISC, 2014
•
Learing Analytics, rapport Unesco 2012.
•
N. Mandran, M. Ortega, V. Luengo, D. Bouhineau. DOP8_Cycle: Merging both data and analysis operators’ life cycles for Technology Enhanced Learning.
Proceedings of the 5 International Conference on Learning Analytics and Knowledge (LAK), Poughkeepsie, New York (USA).
•
D. Bouhineau, S. Lalle, V. Luengo, N. Mandran, M. Ortega, and C. Wajeman. Share data treatment and analysis processes inTechnology enhanced learning. In
Workshop Data Analysis and Interpretation for Learning Environments, Autrans, France, 2013. Alpine Rendez-Vous 2013.
•
Undertracks.imag.fr
•
Brown 2012, Learning analytic : moving to concept to practice EDUCAUSE learning initiative.
•
KTBS : http://tbs-platform.org/tbs/doku.php/tools:ktbs
•
Undertracks http://projet-undertracks.imag.fr/
•
UTL : http://eiah.univ-lemans.fr/UTL/UTL.xml
20
21