Offre de Stage de PFE « Deep Reinforcement Learning Techniques

Offre de Stage de PFE « Deep Reinforcement Learning Techniques for 5G Networks Optimization »
@ Orange Labs (Châtillon, IDF)
Votre Rôle
Ce stage vise à utiliser les combinaisons des techniques d’apprentissage en interaction ou dynamique
(« apprentissage par renforcement » ou « reinforcement learning ») et d’apprentissage supervisé
(« apprentissage profond » ou « deep learning ») les plus récentes et les plus avancées dans le
domaine du Machine Learning afin de résoudre une problématique d’optimisation (allocation de
ressources) pour les réseaux 5G.
Le déploiement des futurs réseaux 5G va nécessiter en effet une gestion automatique, adaptative et
optimisée des ressources mises-en-œuvre pour la réalisation des services invoqués par nos clients,
tout en respectant des contraintes de Qualité de Service (QoS) et de Qualité d’Expérience (QoE) à
assurer pour les utilisateurs ainsi que des contraintes de consommation énergétique et/ou de
fonctionnement pour nos équipements réseaux.
La complexité de ces tâches d’allocation de ressources dans les réseaux est telle qu’il sera désormais
inenvisageable de recourir à des solutions automatiques rapides mais trop statiques telles que les
systèmes experts par exemple.
La dynamique du trafic lié aux services invoqués par nos clients implique un mode d’optimisation
« en-ligne » pour allouer les ressources des réseaux de manière efficace. Les techniques
d’apprentissage par renforcement offrent ainsi un cadre naturel pour adresser cette problématique.
Des travaux antérieurs (stage en 2015) ont d’ailleurs montré la pertinence de cette approche pour
résoudre un problème plus simple d’allocation de ressources pour les réseaux 4G sous contraintes de
QoS et de consommation énergétique.
De plus, les avancées récentes dans le domaine de l’apprentissage profond permettent d’adresser
des problèmes de régression et de classification en apprentissage supervisé pour des phénomènes
très complexes pour lesquels l’utilisation directe de modèles paramétriques se révèle inefficace dans
leur mise-en-œuvre concrète en pratique. Les résultats les plus spectaculaires de ces techniques
concernent des problématiques de vision par ordinateur et de traitement du langage naturel depuis
quelques années.
Or, en 2016, la combinaison de ces méthodes couplées aux techniques d’apprentissage par
renforcement a permis l’émergence de systèmes très performants en Intelligence Artificielle par
Google dans le domaine des jeux notamment (arcade, Go par exemple). Il faut s’attendre ainsi à voir
de tels systèmes être développés prochainement pour adresser d’autres problématiques dans
d’autres domaines.
Dans cette optique, nous proposons donc d’appliquer cette approche conjointe de méthodes pour
designer des solutions pour le problème de l’allocation de ressources sous contraintes pour les
réseaux 5G, ainsi que pour la détection d’anomalies et le Service Level Agreement (SLA) enforcement
dans les réseaux de télécommunications.
Les activités de recherche de ce PFE s’inscriront naturellement au sein du projet de recherche
collaboratif EU H2020 5G-PPP “COGNET”.
Activités



Montée en compétence sur les problématiques liées aux réseaux 5G
Montée en compétence sur les techniques d’apprentissage statistique (apprentissage par
renforcement et apprentissage profond)
Design et tests de solutions d’allocation de ressources pour les réseaux
Votre Profil

-
Compétences scientifiques et techniques :
Mathématiques : modélisation, statistiques et probabilités
Informatique : maîtrise de Python et/ou C/C++ et/ou Matlab, ainsi que des bibliothèques
courantes implémentant les principaux modèles et méthodes en machine learning
Des compétences en machine learning/apprentissage statistique sont un atout

-
Expériences souhaitées :
Master et/ou Ecole d’Ingénieur, spécialité mathématiques appliquées et/ou informatique
Entité



Département “Modeling and Statistical Analysis” (MSA) d’Orange Labs.
Activités sur la modélisation des trafics et des réseaux fixes (Internet par Fibre et ADSL) et
mobiles (2G/3G/4G 5G).
Objectifs:
– Apporter une meilleure connaissance des trafics, en rapport avec l’évolution des
usages et des terminaux dans le cadre de la croissance très importante de ces trafics
– Estimer et optimiser les coûts des infrastructures réseaux par zones géographiques
dans le cadre de choix stratégiques de déploiement des technologies de nouvelle
génération (fibre optique, réseaux mobiles 4G) avec de nouvelles architectures
– Améliorer la Qualité de Service (QoS) et les performances des réseaux mobiles
– Fournir des modèles analytiques de consommation d’énergie des équipements pour
estimer et prévoir la consommation d’énergie des réseaux
Durée : 6 mois, date de début en 2017 flexible mais date de fin de PFE hors période juillet-août.
Le Plus de l’Offre
Travaux de recherche d’expertise sur un domaine porteur : Machine Learning/Deep Learning.
Travaux à mener en collaboration dans une équipe projet (projet collaboratif EU H2020 5G-PPP
COGNET) en interaction avec des ingénieurs de recherche, post-doc(s), doctorant(s)…
Contact : Stéphane Sénécal : [email protected]