Laboratoire d`Automatique et d`Informatique Industrielle de Lille

Développement d’une IA de jeu générique (type jeux de stratégie modernes)
basée sur « Monte-Carlo » Tree Search (MCTS) avec apprentissage automatique de
règles expertes
Titre :
Financement prévu : nom Université/Ecole ou Région et/ou nom organisme (CNRS, Inserm,…) ou autre
Cofinancement éventuel : MESR
(Co)-Directeur de thèse :C. FONLUPT
E-mail : [email protected]
Co-directeur de thèse : V. Marion, D. Robilliard, F. Teytaud
E-mail :
Laboratoire : LISIC – EA 4491
Equipe : CAMOME
Descriptif :
Les méthodes arborescentes de type Monte-Carlo Tree Search ont montré leur puissance dans
l’exploration d’arbres de très grande largeur en se basant sur un échantillonnage de l’espace de
recherche ; en particulier, ces techniques sont les seules qui ont permis de réaliser des intelligences
compétitives pour un jeu complexe comme le jeu de Go. Au lieu d’explorer de manière systématique
toutes les branches d’un arbre dans le cas d’un jeu et d’éliminer les branches en se basant sur des
techniques de type A* ou Min-Max, MCTS est une technique se basant sur un adversaire jouant de
manière aléatoire. Peu d’informations peuvent être obtenues à partir d’une seule partie générée
aléatoirement mais la multiplication de ces simulations a montré une robustesse et d’excellentes
performances.
Le travail de cette thèse consiste à proposer une IA générique basée sur MCTS permettant de générer
un ou plusieurs joueurs dans des jeux complexes de type Euro-Games (Colons de Catane, 7 wonders,
San Juan, …). MCTS est en général basé sur un jeu se limitant à deux joueurs (Go, Hex, General Game
Playing…), nous nous proposons dans le cadre de ce travail de l’étendre à la problématique multijoueurs et jeux de stratégie modernes qui est plus complexe et entraîne de nombreux problèmes de
mise en perspective. En effet, Gardiner et Szita et al ont montré de nombreux écueils subsistent dans
l’obtention d’une IA convaincante pour ce type de jeu complexe.
Une plate-forme d’expérimentation sera réalisée, écrite dans un langage permettant de spécifier de
manière claire les différentes décisions à chaque étape du déroulement du jeu. Cette plate-forme pourra
ainsi être réutilisée de manière simple et pratique pour tous les jeux utilisant le langage de proposition
de décision défini.
Nous nous proposons dans un deuxième temps d’utiliser les nombreuses traces d’exécutions afin d’en
extraire des informations pertinentes. En effet, comme MCTS génère des milliers voire des dizaines de
milliers d’exécutions, des stratégies pertinentes peuvent être extraites, stratégies menant par exemple à
la victoire ou permettant de guider le déroulement du jeu. Cette extraction sera utilisée dans un contexte
d’apprentissage. En particulier, il sera possible d’utiliser une grammaire pour engendrer des stratégies
lisibles par un joueur humain.
Références bibliographiques :
Szita; G.M.J-B. Chaslot, P. Spronck. Monte-Carlo Tree Search in Settlers of Catan. In Proceedings of
the Twelfth International Advances in Computer Games Conference (ACG'09), Pamplona, Spain, May
11-13, 2009. In Press.
R. Coulom. Efficient Selectivity and Backup Operators in Monte-Carlo Tree Search. In P. Ciancarini
and H. J. van den Herik, editors, Proceedings of the 5th International Conference on Computers and
Games, Turin, Italy, pages 72–83,2006
G. Chaslot, J.-T. Saito, B. Bouzy, J. W. H. M. Uiterwijk, and H. J. van den Herik. Monte-Carlo
Strategies for Computer Go. In P.-Y. Schobbens, W. Vanhoof, and G. Schwanen, editors, Proceedings
of the 18th BeNeLux Conference on Artificial Intelligence, Namur, Belgium, pages 83–91, 2006
Investigating Monte-Carlo Methods on the Weak Schur Problem
Shalom Eliahou, Cyril Fonlupt, Jean Fromentin, Virginie Marion-Poty, Denis Robilliard, Fabien
Teytaud
Ben Gardiner, 7 wonders agent, a proposal, Thesis, Willamette University, Salem, Oregon
A. Rimmel , F. Teytaud and O. Teytaud "Biasing Monte-Carlo simulations through RAVE values", Proc.
Comput. Games, pp.59 -68 2010