La e-maintenance et la réalité augmentée

Transcription

La e-maintenance et la réalité augmentée
Mer Innovate
La e-maintenance et la
réalité augmentée
Usage pour les éoliennes off-shore
Vincent HAVARD ; M’hammed SAHNOUN; Navonil MUSTAFEE; Anna WIENKE;
Dorian BOULC’H; Phil GODSIFF; Andi SMART; David BAUDRY
20/04/2015
Contacts > E-maintenance pour les fermes d’éoliennes off-shore
Contacts
CESI :
Exeter :
[email protected] (chapitres 2, 3.1, 3.3, 3.5)
[email protected] (chapitres 3.2, 3.4)
La e-maintenance et la réalité augmentée
1/65
Contacts > E-maintenance pour les fermes d’éoliennes off-shore
Contenu
Contacts ................................................................................................................................................... 1
1
Contexte .......................................................................................................................................... 4
2
État de l’art ...................................................................................................................................... 6
2.1
2.1.1
Définition ......................................................................................................................... 6
2.1.2
Implémentation de l’e-maintenance............................................................................... 7
2.1.3
E-maintenance: conception du besoin à l’implémentation ............................................ 7
2.2
3
E-maintenance pour les fermes d’éoliennes off-shore ........................................................... 6
Les défaillances des éoliennes off-shore ................................................................................. 9
2.2.1
Défaillance du système électrique .................................................................................. 9
2.2.2
Défaillances du système d'orientation ............................................................................ 9
2.2.3
Défaillance de la boîte de vitesse .................................................................................... 9
2.2.4
Défaillance des systèmes hydrauliques ........................................................................... 9
2.2.5
Défaillances des pales.................................................................................................... 10
2.2.6
Classification des causes de défaillance ........................................................................ 10
2.3
La maintenance des éoliennes offshore................................................................................ 10
2.4
La réalité augmentée et les opérations de maintenance ...................................................... 11
2.4.1
Réalité augmentée : contexte de la maintenance off-shore ......................................... 11
2.4.2
Réalité augmentée : définition ...................................................................................... 12
2.4.3
Réalité augmentée : les principes de fonctionnement ................................................. 13
2.4.4
Réalité augmentée : les méthodes de suivis (tracking) ................................................. 14
2.4.5
Réalité augmentée : les dispositifs d’affichage ............................................................. 19
2.4.6
Réalité augmentée : les frameworks existants ............................................................. 22
2.4.7
Réalité augmentée : recherches et projets ................................................................... 23
2.4.8
Conclusion sur l’état de l’art de la réalité augmentée .................................................. 25
Travaux et résultats ....................................................................................................................... 26
3.1
Modélisation et simulation basé sur les systèmes Multi-Agents .......................................... 26
3.1.1
Modèle .......................................................................................................................... 26
3.1.2
Modèle de cout ............................................................................................................. 30
3.1.3
Relation entre les différents agents .............................................................................. 31
3.1.4
Simulation...................................................................................................................... 32
3.1.5
Résultats et discussion .................................................................................................. 33
3.1.6
Perspectives................................................................................................................... 35
3.2
Simulation d’Evènements Discrets ........................................................................................ 35
3.2.1
Introduction ................................................................................................................... 35
3.2.2
Méthodologie de simulation ......................................................................................... 35
La e-maintenance et la réalité augmentée
2/65
Contacts > E-maintenance pour les fermes d’éoliennes off-shore
3.2.3
Description du modèle .................................................................................................. 38
3.2.4
Application pratique du modèle.................................................................................... 39
3.2.5
Limites et Perspectives .................................................................................................. 40
3.3
Serious game (CESI version) .................................................................................................. 41
3.3.1
Jeu sérieux basé sur les systèmes multi-agents ............................................................ 41
3.3.2
Perspectives................................................................................................................... 42
3.4
Serious game (Exeter version) ............................................................................................... 43
3.4.1
Introduction ................................................................................................................... 43
3.4.2
L’edutainment pour l’apprentissage ............................................................................. 43
3.4.3
Le jeu pour la maintenance des éoliennes offshores .................................................... 46
3.4.4
Perspectives................................................................................................................... 51
3.5
Standardisation des procédures de maintenance en réalité augmentée ............................. 51
3.5.1
Introduction ................................................................................................................... 51
3.5.2
Les modes de collaboration........................................................................................... 51
3.5.3
Le modèle de maintenance pour la réalité augmentée ................................................ 52
3.5.4
Le démonstrateur de réalité augmentée dédié à la maintenance ................................ 55
3.5.5
Conclusions, Limitations et perspectives ...................................................................... 55
4
Conclusion ..................................................................................................................................... 57
5
Bibliographie.................................................................................................................................. 57
6
Table des illustrations.................................................................................................................... 64
La e-maintenance et la réalité augmentée
3/65
Contexte > E-maintenance pour les fermes d’éoliennes off-shore
1 Contexte
L’un des plus grands challenges auxquels l’humanité devrait faire face est la production énergétique
[1]. L’énergie produite par des éoliennes offshores représente une piste très prometteuse qui peut
remplacer les énergies traditionnelles. Elle est supposée devenir le première source d’électricité dans
le futur [2] [3].
Un parc éolien offshore est un ensemble d'éoliennes utilisées pour générer de l'électricité. Le choix
des sites d'implantation de ce type de parc dépend principalement de (1) la distance de la côte, (2) la
profondeur des eaux, et (3) la qualité du vent. L'Europe est leader mondial dans ce domaine grâce aux
parcs développés surtout par les pays nordiques tels que la Suède, la Hollande ou le Danemark [4].
Plusieurs pays sont de plus en plus intéressés par ce type de technologie. La France connaitra ses
premiers parcs offshores début 2018 [5].
Le plus grand obstacle devant le développement de cette énergie est le prix d'installation,
d'exploitation et de maintenance élevé comparé aux autres sources d'énergies [6]. La maintenance
des éoliennes offshores est une tâche complexe, coûteuse et difficile à effectuer surtout quand les
conditions météorologiques sont dégradées [7]. D'après [8], le coût de la maintenance constitue de 25
à 30% du prix global du kWh, alors qu'il est seulement situé entre 10 et 15% pour des éoliennes
onshores (terrestres). Ce coût dépend très fortement de la stratégie de maintenance, par exemple la
maintenance préventive (systématique et/ou conditionnelle) représente entre 0.003 et 0.006 (€/kWh)
tandis que la maintenance corrective représente entre 0.005 et 0.01 (€/kWh) [9]. La réduction des
coûts de la maintenance devient donc une nécessité pour l'avenir des éoliennes offshores.
L’utilisation des nouvelles techniques de maintenance est la seule manière pour réduire le cout de la
maintenance des éoliennes offshore. Etant donnés les spécifications des parcs éoliens offshores, la emaintenance semble une option intéressante pour avoir des plan de maintenance efficace et moins
cher [10]. Cette technologie a prouvé son efficacité dans plusieurs applications offshores telles que les
plateformes pétrolières [11] [12]. Elle a aussi été utilisée pour la maintenance des parcs éoliens
offshores dans la mer du nord [13].
Plusieurs travaux s'intéressent à l'optimisation des plans de maintenance des éoliennes offshores. Par
exemple, dans [14] (2001), les auteurs ont proposé une architecture permettant d'intervenir
rapidement en cas de panne en installant un bateau permanent dans le parc éolien. Ce dernier va
constituer une base pour les équipes de maintenance du parc. Rademakers et al [15] ont proposé de
placer plusieurs grues de 50 MT pour réduire le temps de maintenance des pièces conséquentes telles
que les boites de vitesse. Ils ont montré que la multiplication des grues à 150 K€ coûtera moins cher à
long terme. [6] et [16] ont proposé une maintenance basée sur le risque pour éviter les maintenances
correctives très coûteuses.
D’un point de vue opérationnel et vu la rareté des bons experts, même s’il y a de très bons programmes
de monitoring déjà opérationnels les pannes continuent d’avoir lieu causant des pertes énormes pour
les exploitants et mettant en cause l’investissement qui a été mis dans la maintenance conditionnelle.
Plusieurs chercheurs ont essayé de surpasser ce problème en utilisant des systèmes expert basés sur
des techniques d’intelligence artificielle. Un état de l’art très intéressant a été fait par Liao [17] et
Kalogirou [18] sur les systèmes experts et leurs utilisations. A titre d’exemple Wang [19] et Warwick
[20] ont utilisé des systèmes experts pour le monitoring et la maintenance des systèmes complexes.
La modélisation et la simulation des parcs éoliens offshores est une étape nécessaire pour pouvoir
optimiser les plans de maintenance. L'intervention de plusieurs acteurs dans le fonctionnement du
système rend la tâche de modélisation complexe et difficile. Plusieurs équipes de recherche se sont
intéressées au développement de simulateurs permettant de reproduire une ou plusieurs parties du
système. [21] présente un modèle simple basé sur les réseaux de Petri, il propose aussi plusieurs
implémentations possibles pour son modèle. [7] ont proposé un simulateur basé sur la Spécification
Des Systèmes à Evénement discret (Discrete Event System Specification (DEVS)). Ils ont modélisé
La e-maintenance et la réalité augmentée
4/65
Contexte > E-maintenance pour les fermes d’éoliennes off-shore
chaque composante de l'éolienne, et leur simulateur a permis de montrer les avantages de l'utilisation
d'une maintenance préventive conditionnelle plutôt qu'une maintenance préventive systémique.
L'étude s'est intéressée uniquement à la maintenance de la boîte de vitesse. Pieterman et al [14] ont
aussi développé un modèle basé sur l'historique pour le calcul des coûts de maintenance, ils ont étudié
le système de transport et proposé une solution optimale pour la cas d'étude qu'ils avaient. Toutes les
précédentes études ont été confrontées à l'incontournable problème de la complexité de la
planification de maintenance des éoliennes offshores, dû au nombre de paramètres non maîtrisés dans
le système, tels que les conditions météorologiques, le facteur humain et la difficulté d'accès.
Deux techniques de modélisation et de simulation des systèmes complexes ont été utilisées pour le
développement des simulateurs dans ce projet, à savoir les systèmes multi-agents (MAS) et les
systèmes à évènement discrets (SED).
L'utilisation des systèmes distribués, notamment les systèmes multi-agents (MAS), est une solution
intéressante pour ce genre de système. Plusieurs études [22] [23] ont appliqué les systèmes multiagents pour la modélisation et la simulation des parcs éoliens offshores parce que les méthodes
conventionnelles de modélisation ne permettent pas de traduire tous les phénomènes qui peuvent
apparaitre dans un tel système complexe [13]. Ce type d'architecture permet de modéliser chaque
partie du système indépendamment, et de gérer plus tard les interactions et la négociation entre les
différentes parties du système [9].
Les systèmes à événements discrets (SED) permettent de représenter un système opérationnel en
utilisant les files d’attente côté serveur. L’utilisation de cette technique de simulation était appropriée
pour modéliser l’activité de Maintenance, de Réparation, et d’Opération (MRO) pour les éoliennes
offshores. En effet, les ressources nécessaires pour les tâches de MRO (i.e. les techniciens, les bateaux
et l’équipage pour le transport) pouvaient logiquement être représentées comme des serveurs qui ont
besoin d’un certain temps (soit le temps simulé dans le modèle) pour servir une requête (par exemple
le temps de réparation d’un capteur en faute par un technicien, le temps d’occupation du bateau et
de l’équipage pour une tâche spécifique de MRO). De même, puisque les erreurs sont remontées par
les turbines, elles ont besoin d’être stockées dans une file pour attendre les ressources permettant de
réparer cette erreur. Une file d’attente logique est donc essentielle puisque notre système
opérationnel, comme la plupart des autres, se situe dans un environnement aux ressources limitées.
En d’autres termes, les ressources ne sont pas infinies et les ressources existantes se consacrent à une
tâche particulière en fonction de la priorité et des tâches restantes dans la file d’attente.
Ce rapport est divisé en deux grandes parties : la première partie concerne l’état de l’art sur la emaintenance, les modes et les causes de défaillances des éoliennes offshore, et se termine par la
maintenance assistée basée sur la réalité augmentée. Dans la deuxième partie, nous allons détailler
les travaux développés dans le projet Mer Innovate, notamment les modèles et les simulateurs par des
systèmes multi-agents et des systèmes à événements discrets. Nous exposons, après le démonstrateur
de la réalité augmentée, les jeux sérieux développées. Ce rapport se termine par une conclusion
générale.
La e-maintenance et la réalité augmentée
5/65
État de l’art > E-maintenance pour les fermes d’éoliennes off-shore
2 État de l’art
2.1 E-maintenance pour les fermes d’éoliennes off-shore
L’e-maintenance est un nouveau concept pour la gestion des tâches de maintenance en utilisant les
nouvelles technologies de l’information et la communication. La littérature donne un panorama très
hétérogènes de définitions pour la e-maintenance en indiquant si elle est caractérisé par des modèles
spécifiques ou utilise des technologies ou des standards différents ou si elle est basée sur l’utilisation
de l’internet [24] [25]. Ce problème de considération de la e-maintenance est la principale cause de
son utilisation académique. Récemment quelques chercheurs se sont intéressés à la question et ont
proposé une formalisation globale de la e-maintenance. Leur proposition est intéressante parce qu’elle
considère une vision commune entre les différents avis sur la question [11]. La section suivante va
exposer les différentes définitions que nous avons trouvées dans la littérature.
2.1.1 Définition
La première utilisation du terme e-maintenance est apparue au début du siècle (années 2000) [24].
Maintenant, c’est devenu un terme très utilisé chez les industriels et les académiques [26] [27].
Plusieurs définitions existent dans la littérature telles que : Baldwin [28] a cherché à définir le « e » de
la e-maintenance par la relation suivante :
E-maintenance = Excellence maintenance = Efficient maintenance (faire plus avec peu de personnel et
moins de moyens) + Effective maintenance (améliorer la matrice RAMS) + Enterprise maintenance
(contribuer directement à la performance de l’entreprise).
Cette définition n’est pas approuvée par tous les ingénieurs et chercheurs qui s’intéressent à la emaintenance.
La divergence dans les définitions est due principalement au point de vue de chaque utilisateur ou
service. Par exemple :
D’un point de vue conceptuel, Baldwin, quelques années plus tard, définit la e-maintenance cette foisci comme : le réseau qui intègre et synchronise les différents types de maintenance et application de
la fiabilité des systèmes tous ensemble pour délivrer rapidement et dynamiquement des informations
quand elles sont demandés. La e-maintenance est un sous ensemble du e-manufacturing et du ebusiness [29].
Le centre de la maintenance intelligente « The Intelligent Maintenance Center (IMC) » définit la emaintenance comme : la capacité de surveiller les actifs d’une usine ou d’un système de production,
relie les systèmes de production et de maintenance opérationnel, collecte le retour des clients et
intègre toutes ces informations dans les niveaux les plus élevés de l’entreprise [30].
La e-maintenance est considéré aussi comme un composant critique de l’e-manufacturing qui est
définit dans [31] par : “un système de transformation qui permet de faire des opérations
manufacturières pour arriver à une performance où le temps de panne est proche du zéro aussi bien
que la synchronisation avec le système d’affaire grâce à l’utilisation des technologies du web (internet)
et la technologie de l’infotronique.
Une définition plus générale est donnée par [32]: « la e-maintenance est un concept de gestion de la
maintenance selon laquelle les actifs sont suivis et gérés sur internet. Elle introduit un niveau de
transparence sans précédent et qui est efficace dans toutes les industries. »
D’autres contributeurs de la e-maintenance la définissent comme une stratégie de maintenance
(méthode de gestion de la maintenance [33], [34], un plan de maintenance [35] ou un support de
maintenance [36] [37] ou aussi tout simplement un type de maintenance [38]).
Le point commun entre toutes les définitions est l’utilisation des technologies de l’information et de la
communication pour les tâches de maintenance et la nécessité d’avoir une infrastructure fiable et une
architecture fiable pour l’implémentation de l’e-maintenance.
La e-maintenance et la réalité augmentée
6/65
État de l’art > E-maintenance pour les fermes d’éoliennes off-shore
2.1.2 Implémentation de l’e-maintenance
L’e-maintenance peut être implémentée grâce à deux facteurs principaux [27]:
1. L’aspect technologique de l’e-maintenance : l’apparition des nouvelles e-technologies a
permis l’implémentation des notions théoriques de l’e-maintenance et d’augmenter
l’efficacité des tâches de maintenance. Ces technologies sont nécessaires à l’implémentation
des supports techniques de l’e-maintenance qui sont considérés comme la caractéristique
principale du concept de l’e-maintenance. Il est composé globalement de l’IntraNet, ExtraNet
et InterNet [39], la collecte et le traitement de l’information [40]. D’une manière générale la
e-technologie augmente les possibilités :
 D’utiliser des données provenant de diverses origines et sous différentes formes
(fusion de données)
 De traiter une quantité importante de données rapidement pour pouvoir faire des
décisions plus précises et efficaces.
 D’implémenter des activités collaboratives et/ou coopératives.
Apres plusieurs années d’expertise sur l’implémentation de l’e-maintenance, aucun chercheur
ne peut constater le fait que l’implémentation des e-technologies pour l’activité de
maintenance est la plus importante raison de l’émergence de l’e-maintenance.
2. Une nouvelle façon de penser l’e-maintenance: c’est le besoin d’intégrer les performances de
l’entreprise dans la décision de maintenance, ce qui impose à la maintenance d’être ouverte,
intégrée et en collaboration avec les autres services de l’entreprise (une nouvelle façon de
penser la maintenance).
Dans ce contexte, l’e-maintenance n’est plus considéré comme uniquement un nouveau type
de maintenance qui utilise les technologies de communication et d’informations, mais une
discipline qui s’inscrit dans un cadre plus global où elle considère une approche scientifique,
et technologique afin de réduire la perte de productivité et l’efficacité des moyens de
production, en regardant aussi la qualité pour une meilleure compétitivité.
Etant donné cette révolution dans la manière et les outils pour faire de la maintenance, les
chercheurs travaillent sur la structuration des connaissances autour de l’e-maintenance afin
de bien définir ce nouveau thème de recherche. En effet, la plus part des gens surtout dans le
domaine industriel pensent que la maintenance est un mal nécessaire et son rôle se limite à
réparer des choses quand ils se cassent. En outre, le rôle de la maintenance a changé pour
prendre en compte la gestion du cycle de vie du produit et la conception du produit [41]. Un
autre principe dans la nouvelle vision de l’e-maintenance est l’éco-efficacité, où le coût global
de la planification de la maintenance est pris en compte en considérant tous les effets indirects
de tâche de maintenance [42] [43].
L’émergence du concept de maintenance de cycle de vie a conduit au développement d’une
nouvelle chaine de valeur de maintenance avec deux objectifs : (1) pour garder le niveau
fonctionnel du produit et préserver ses caractéristiques d’un point de vue environnemental,
(2) pour être en ligne avec les objectifs d’affaire et de profit [30].
La maintenance doit être considérée comme un système conforme à la discipline de
l'ingénierie des systèmes. L’e-maintenance inclut la télémaintenance qui est basée sur
l’utilisation de l’internet et les principes collaboratifs.
2.1.3 E-maintenance: conception du besoin à l’implémentation
En se basant sur l’architecture de la maintenance, la modélisation de la stratégie décisionnelle de la
maintenance est définie afin d’être plus efficace et rendre les décisions de la maintenance plus
collaboratives. Elle peut être structurée suivant les niveaux d’abstraction suivant [30] :
2.1.3.1 La vision stratégique de l’e-maintenance :
La vision stratégique de l’e-maintenance consiste à définir les règles pour les décisions stratégiques de
l’entreprise. Elles peuvent être formulées d’une manière quantitative ou qualitative. Dans ce niveau
La e-maintenance et la réalité augmentée
7/65
État de l’art > E-maintenance pour les fermes d’éoliennes off-shore
de décision la finalité et les objectifs de l’e-maintenance sont définis. Ce modèle est beaucoup plus
textuel que formel, il consiste à définir les principales indications stratégiques
2.1.3.2 Le business process dans l’e-maintenance :
Elle permet la description de ce que doit faire une entreprise pour déployer les décisions stratégiques
de l’e-maintenance. Une fonction d’affaire (business) de l’e-maintenance organise son processus
d’affaire (business process). Aussi, cette fonction organise les activités qui sont implémentées par des
procédures au niveau organisationnel. Selon le contexte spécifique de l’e-maintenance, le processus
peut être divisé comme suit :
 Processus de maintenance conventionnels qui ne sont pas changés avec l’implémentation de
l’e-maintenance.
 Processus de maintenance conventionnels qui peuvent être changés avec l’implémentation de
l’e-maintenance
 Nouveaux processus qui émergent à partir de l’utilisation de l’e-maintenance, tels que le
processus d’affaire, et le processus de dégradation.
2.1.3.3 Le niveau organisationnel de l’e-maintenance
L'organisation de l’e-maintenance doit prendre en charge l'organisation des processus d'affaires de l’emaintenance. Ce niveau est une projection du processus d’affaire de l’e-maintenance sur une ou
plusieurs organisations de l’e-maintenance. Il permet aussi d’évaluer les finalités probables des
niveaux stratégiques et d’affaires. Il doit être proche du modèle du comportement de l’IMS (Intelligent
Manufacturing System) de chaque composant de du système dynamique. Par exemple : ce niveau de
décision doit faire face à :
 La caractérisation de l’organisation principale de l’e-maintenance
 La définition des unités d’organisation dans l’organisation sélectionnée.
 La définition de chaque procédure
 La maitrise de l’organisation sélectionnée
 L’interopérabilité organisationnelle entre les procédures (opérations)
2.1.3.4 Architecture des données et de services
Dans ce niveau d’abstraction les infrastructures détaillées de l’e-maintenance sont modélisées. Il est
composé d’un ensemble de composants (matériel, logiciel et hybride), soutenant chaque fonction qui
aide à l’implémentation de la structure de l’e-maintenance définie dans les niveaux plus haut
(stratégique, affaire, …). D’un point de vue e-maintenance, ce niveau est composé d’un ou plusieurs
réseaux d’informations contenant des serveurs, des postes de travail, des logiciels, des capteurs, etc.
L’objectif principal de cette infrastructure est d’assurer un bon niveau de qualité de service des
processus d’exécution en terme d’évolutivité, de disponibilité et de garantie de temps de réponse
concurrentiel pour les actions de l’e-maintenance. Un très grand nombre de technique et de produit
innovants sont utilisées pour l’implémentation de l’e-maintenance. Une liste des technologies
innovantes les plus utilisées sont présentées dans la liste suivante :
 Une nouvelle génération de capteurs intelligents (micro-capteurs autoalimenté, des cellules
de mémoire, amplification analogique, convertisseur, etc. bien adaptés pour l'analyse de
vibration, l'analyse de l'huile, …)
 Les tags RFID
 GPS
 Technologies de transmission sans fil
 Les équipements innovants de communication tels que la réalité augmentée et la réalité
virtuelle, Smartphone, tablettes, lunettes intelligentes,…
 Nouveaux outils pour le diagnostic et le pronostique
 Bases de données dynamiques
 Web service
La e-maintenance et la réalité augmentée
8/65
État de l’art > Les défaillances des éoliennes off-shore

Full Web GMAO (Gestion de Maintenance informatisé) (e-GMAO)
2.1.3.5 Les plateformes de l’e-maintenance
Une plateforme de l’e-maintenance peut être un logiciel, ou un ensemble logiciel/matériel pour une
plateforme globale comme un ERP. Plusieurs plateformes pour l’e-maintenance ont été développées
les plus connues sont : ICAS-AME, CASIP et sa version améliorée KASEM, WSDF, PROTEUS, TELMA,
MRPOS, IMS/D2BTM, REMOTE DATA SENTINEL, DIAMOND, IPDSS, INTERMOR, QUESTRA, ENIGMA,
DEXTER, DYNAWeb et SEMATECH.
Seulement peu d’entre elles traduisent le concept de la e-maintenance tel qu’on vient de l’expliquer
comme TELMA développée dans le laboratoire CRAN qui est basée sur un processus physique connecté
à un système automatisé contenant un plan de maintenance.
2.2 Les défaillances des éoliennes off-shore
Afin de définir la meilleure stratégie de maintenance d’un parc éolien offshore et pour avoir une bonne
implémentation des concepts de l’e-maintenance, il est nécessaire de connaitre les modes et les causes
de défaillance qui peuvent avoir lieu sur les éoliennes offshores. L’effet des pannes ou du moins leurs
causes sur le fonctionnement des éoliennes dépend de plusieurs facteurs, à savoir, l’état de la turbine,
le délai entre la panne et l’intervention, la durée de la tâche de maintenance, le composant affecté par
la panne, etc.
Plusieurs études se sont intéressées à la classification des composantes de l’éolienne selon leur type
de défaillance et leur coût de maintenance. Dans le projet Européen RELIAWIND [44], les chercheurs
ont classé les composants des éoliennes en neufs sous-ensembles. Ils ont aussi défini les plus
importants modes et causes de défaillances des éoliennes offshore [45]. Une étude des parcs éoliens
offshores Danois [46] a montré que 60% des pannes concerne le système électrique, la boite de vitesse,
le système de contrôle de la direction, le générateur et le système hydraulique. Dans les sections qui
vont suivre nous allons examiner les types et causes de pannes de chacune de ces parties.
2.2.1 Défaillance du système électrique
Les pannes des bobines, les court-circuits et les dommages qui peuvent atteindre les composants
électriques, les pannes des transformateurs et coupures des fils électriques sont les principaux modes
de défaillance du système électrique d'une éolienne [47].
Les plus importantes causes de ce genre de défaillances étant la foudre, la mauvaise installation
électrique et les défauts techniques de quelques composants électroniques (résistances, capacités, …)
2.2.2 Défaillances du système d'orientation
Ce système contrôle l'orientation de la nacelle pour qu'elle suive la direction du vent. En général, on
rencontre des problèmes de fissuration des arbres d'entraînement, des défaillances de roulement et
des fixations, des fractures des engrenages [47]. Ces défaillances sont dues à des phénomènes de
givrage, de haute vibration durant les périodes de surcharge et surtout des pannes liées au
fonctionnement du moteur [48].
2.2.3 Défaillance de la boîte de vitesse
La boîte de vitesse représente le maillon faible dans une éolienne, son rôle est très important, elle
tombe en panne très souvent et son remplacement est compliqué et prend beaucoup de temps
(environ 5 jours [15]). Ses modes de défaillance sont principalement liés au roulement et à la cassure
des dents des engrenages [49]. Elles sont déclarées comme étant les résultats de la contamination par
des particules, l'arrêt et le démarrage très fréquent de l'éolienne, et le fonctionnement dans des
périodes de surcharge [47].
2.2.4 Défaillance des systèmes hydrauliques
Des composants hydrauliques sont utilisés dans plusieurs connections à haute pression placées dans
différents endroits de l'éolienne tels que le système d'orientation, la boîte de vitesse, le système de
freinage, etc. Les problèmes de fuite d'huile dans tous ces composants sont connus comme la
La e-maintenance et la réalité augmentée
9/65
État de l’art > La maintenance des éoliennes offshore
défaillance des systèmes hydrauliques. Il est dû essentiellement au changement fréquent de
température, à la corrosion, aux vibrations, à la mauvaise conception et à la mauvaise qualité des
composants du système (durits, électrovanne, etc.). La mauvaise installation des systèmes
hydrauliques est responsable de 60% des défaillances [50].
2.2.5 Défaillances des pales
Les pales sont directement responsables du transfert de l'énergie du vent en énergie mécanique grâce
à leurs formes aérodynamiques. D'une manière générale on peut regrouper sous "défaillance de pales"
tous les phénomènes de cassures, fissures, vibrations,…. Leurs principales causes sont: la turbulence
du vent, la rotation non contrôlée, la foudre et les défauts de fabrication [51].
2.2.6 Classification des causes de défaillance
En regardant les causes de défaillances des différentes composantes de l'éolienne, nous les avons
classé en trois principales: (1) la météo, (2) les erreurs d'installation, et (3) les problèmes liés à la
qualité des produits utilisés comme présenté sur la Figure 1. La planification de la maintenance doit
prendre en compte ces éléments. Le modèle que nous allons décrire dans ce papier considère les effets
de la météo sur les éoliennes, et les différentes dégradations dues aux éventuels défauts de fabrication
ou de montage.
Resonances within
resistor-capacitor (RC)
circuits
Poor component
quality and system
abuse
Poor electrical
installation
Technical
defects
Production
defects
Icing problem in
extreme weather
Frequent stoppage
and starting
Turbulent wind
Poor system
design
Electrical
systems
Generator windings,
Short-circuit
Over voltage of electronics
components
Transformers
Wiring damages
High vibration level
during overload
Blade Failures
Damages
Cracks
Breakups
Bends
Gearbox
Yaw System
Wearing,
Backlash,
Tooth breakage
Cracking of yaw drive shafts,
Fracture of gear teeth,
Pitting of the yaw bearing race
Failure of the bearing mounting bolts
Technical
High/Low
temperature
Corrosion
High loaded operation
conditions
Out-of-control
rotation
Lightning
Particle
contaminations
Improper
installation (60%)
Human
Vibration
Hydraulic
Leakages
Weather
Figure 1: les causes principales des défaillances des éoliennes
2.3 La maintenance des éoliennes offshore
La maintenance des parcs éoliens offshore est plus cher et compliqué que celle des parcs éoliens
onshore à cause de leur position, taille et de l’influence des conditions météorologique [52] [2]. Le
concept de l’e-maintenance devient donc indispensable pour améliorer l’exploitation des énergies
marine [53] [54]. Plusieurs travaux se sont intéressés à la thématique de l’e-maintenance en traitant
les aspects les plus critiques tels que la disponibilité et l’accessibilité [55]. L’amélioration de
l’accessibilité impact directement la disponibilité des éoliennes offshore comme le montre [56]. C’est
pour cette raison que plusieurs équipes de recherche se sont penchées sur l’amélioration de l’accès
aux parcs éoliens offshores : certaines se sont intéressées au maintien des bateaux utilisés pour la
maintenance, d’autres équipes ont exploré la facilitation de l’accès entre le bateau et l’éolienne en
travaillant sur la stabilisation du pont qui relie les deux [57]. De nombreuses amélioration ont été
apporté aussi aux bases des éoliennes afin d’augmenter la sécurité du personnel de maintenance tels
que : des plateformes fixes, des ponts flexibles, des bateaux plus confortable, etc. [58].
La e-maintenance et la réalité augmentée
10/65
État de l’art > La réalité augmentée et les opérations de maintenance
La problématique de la disponibilité doit être améliorée à travers l’amélioration de la fiabilité des
éoliennes [58]. Le nombre de maintenance non planifiée (maintenances correctives) peut être réduit
en augmentant la fiabilité des composants et par l’amélioration des plans de maintenance. Quelques
recommandations doivent être prises en compte lors de la construction des modèles de l’éolienne tel
que :
(a) La réduction de nombre de composants et la simplification des modèles
(b) L’adoption des architecture modulaire afin de facilité le remplacement des modules
défectueux.
(c) L’utilisation des composants de haute fiabilité
(d) L’implémentation des systèmes de protection contre la corrosion
(e) Le développement des systèmes de commande à distance de l’éolienne et des systèmes de
surveillance performants
La conception pour réduire les coûts de la maintenance peut conduire à des modèles complètement
différents des standards utilisés dans les éoliennes offshore actuels, tel que l’utilisation des éoliennes
à deux pales, la suppression des boites de vitesses, le développement des systèmes de maintenance
automatisés, etc.
2.4 La réalité augmentée et les opérations de maintenance
2.4.1 Réalité augmentée : contexte de la maintenance off-shore
Comme évoqué en introduction, le contexte de la maintenance des éoliennes off-shore est particulier.
En effet, les fermes d’éoliennes sont éloignées des côtes (en moyenne 1 heure de bateau) et les
conditions d’accès dépendent fortement des conditions météorologiques (voir figure 2). Avant toute
intervention, il est nécessaire de définir la fenêtre de temps disponible afin d’assurer la sécurité des
équipages et l’efficacité de la maintenance. De plus, le coût des personnels qualifiés maitrisant le
système à maintenir, les compétences techniques avancées et les habilitations demandées tel que le
« travail en hauteur », ne permettent pas de disposer physiquement de l’ensemble de ces ressources
sur les parcs off-shore. En effet l’expert en maintenance ne sera pas toujours présent sur les éoliennes
pour guider l’opérateur dans ses procédures de maintenance. C’est pourquoi il faut pouvoir faire
collaborer efficacement :
 L’opérateur
Son rôle est d’intervenir physiquement sur les éoliennes pour les réparer.
 L’expert
Son rôle est de maitriser les pannes possibles sur le système et les étapes à suivre pour réparer
celles-ci. C’est lui qui crée les procédures de maintenance et guide les opérateurs en cas de
problème d’exécution.
La e-maintenance et la réalité augmentée
11/65
État de l’art > La réalité augmentée et les opérations de maintenance
Comment
améliorer
la
communication ?
Opérateur
Expert
Figure 2: exemple dans la manche d’une configuration d'une ferme d'éolienne off-shore (en vert) et sa base de maintenance
on-shore (en mauve) [59].
Cette configuration pose les problèmes suivants : comment améliorer la communication entre l’expert
et l’opérateur afin d’obtenir la maintenance la plus efficiente possible ?
Pour répondre à cette question, ce rapport étudie la réalité augmentée pour les procédures de
maintenance. Nous allons tout d’abord faire un état de l’art sur la réalité augmentée (définition,
principes de fonctionnement, projets existants) dans ce chapitre. Puis nous décrirons le modèle que
nous avons proposé pour définir ce qu’est une procédure de maintenance en réalité augmentée dans
le chapitre « 3.5 Standardisation des procédures de maintenance en réalité augmentée ».
Généralisation de la problématique
Cette problématique énoncée précédemment est aussi présente dans d’autre contexte que l’éolien
off-shore. L’éolien off-shore exacerbe cette problématique puisque la navigation sur mer allonge les
temps de déplacement des opérateurs et empêche plus fréquemment les interventions. Par
conséquent, ce rapport est aussi utile pour d’autres domaines, notamment sur la notion d’expertise à
distance en lien avec les problématiques liées à l’usine du futur.
2.4.2 Réalité augmentée : définition
Le terme « Réalité augmentée » (RA) est introduit par Caudell [60] en 1992. L’auteur prototype un
casque de type Head-up display permettant de connaitre la position de la tête dans le monde réel et
d’afficher des contenus virtuels à travers un système see-through en temps réel.
En 1994, Milgram propose une taxonomie pour la réalité mixte [61]. Il émet l’hypothèse qu’aucune
frontière franche n’existe entre le monde réel et le monde virtuel, mais plutôt qu’il est possible de
passer d’un monde à l’autre à travers un continuum, appelé la réalité mixte.
La e-maintenance et la réalité augmentée
12/65
État de l’art > La réalité augmentée et les opérations de maintenance
Monde réel
Réalité
augmentée
Virtualité
augmentée
Monde virtuel
Continuum réel-virtuel
Réalité mixte
Figure 3: Continuum réalité-virtualité [61]
En se référant à sa définition, nous pouvons placer la réalité augmentée plutôt du côté du monde réel.
Par la suite Azuma [62] propose une définition plus structurée de la réalité augmentée et qui ne
dépend pas de la technique d’affichage employée. Tout système de réalité augmentée doit respecter
ces 3 règles :
 Combiner le réel et le virtuel.
 Être interactif en temps réel.
 Etre synchronisé en 3D.
Contrairement à la réalité virtuelle, où l’utilisateur est entièrement immergé dans un monde virtuel,
la réalité augmentée a pour but d’ajouter des contenus virtuels au monde réel. L’utilisateur voit donc
principalement le monde réel. Le but de ces objets virtuels est d’apporter une information
supplémentaire donnant un sens nouveau à l’utilisateur du système de réalité augmentée. Le sens
donné dépendra évidemment de l’application souhaitée : marketing, médicale, communication,
maintenance, jeu, formation, loisir, sport… [63] [64].
Bien que la réalité augmentée soit essentiellement basée sur la vision, il est aussi possible de créer des
systèmes de réalité augmentée pour les autres sens. En effet les informations additives peuvent être
d’ordre sonore ou haptique.
Pour faciliter la désignation des objets virtuels ajoutés, nous proposons cette définition :
« Augmentation : nom féminin, objet virtuel ajouté au monde réel au moyen d’un système d’affichage
de réalité augmentée. Cet objet devra être synchronisé en 3D et pourra être interactif en temps réel
si besoin. »
L’utilisation de ce terme dans la suite du document se référera à cette définition.
2.4.3 Réalité augmentée : les principes de fonctionnement
Le but principal pour faire fonctionner un système de réalité augmentée est de connaitre la pose
(position et orientation) de la caméra filmant la scène par rapport à l’objet réel que l’on souhaite
« augmenter ». Une fois cela déterminé, il est possible d’ajouter tout type d’augmentation mixant réel
et virtuel. Le principe de fonctionnement peut être découpé en 5 étapes (voir figure 4) :
 La caméra filme la scène.
 Dans chaque image filmée, un objet (marqueur, image de référence, modèle de CAO) est
reconnu.
 La reconnaissance de l’objet permet de calculer la pose (i.e. position, orientation) de la caméra.
 Connaissant la pose de la caméra, les augmentations (objets virtuels) sont ajoutées en
cohérence avec le monde réel.
 Le rendu est mixé sur l’appareil d’affichage (PC, smartphone, tablette, lunettes intelligentes).
La e-maintenance et la réalité augmentée
13/65
État de l’art > La réalité augmentée et les opérations de maintenance
Caméra filme
la scène
Recalage et suivi
par rapport à une
cible
Calcul de la pose
de la caméra
Ajout des
augmentations
Rendu mixé sur
afficheur
Figure 4: Principe de fonctionnement de la réalité augmentée.
La seconde étape décrite ci-dessus est réalisée avec 2 types d’algorithme distincts :
 Le recalage (ou registration en anglais)
Dans cette étape, une image cible est recherchée dans la scène. Une fois détectée, la pose de
la caméra est trouvée. Cette étape est la plus gourmande en calcul car elle nécessite des
algorithmes de vision par ordinateur de type détection de points d’intérêts.
 Le suivi (ou le tracking en anglais)
En supposant que les mouvements de la caméra sont petits, la pose de la caméra peut être
estimée à chaque rafraichissement en utilisant des algorithmes de suivi de points d’intérêts,
suppléés par les centrales inertielles intégrées de manières standards dans les appareils
actuels. Cette étape est beaucoup moins gourmande en temps de calcul et elle est
évidemment privilégiée une fois le recalage effectué.
Dans la littérature, les 2 termes ne sont pas toujours distingués. La plupart du temps, on utilise plutôt
le terme suivi (ou tracking en anglais) pour regrouper les 2 concepts. Dans la suite du document nous
parlerons de suivi.
2.4.4 Réalité augmentée : les méthodes de suivis (tracking)
Il existe 4 grandes catégories d’algorithmes de suivis :
 Avec marqueur repère (voir figure 5 Fiducial).
 Avec image de référence (voir figure 5 Image target).
Dans la littérature, cette méthode est aussi appelée sans marqueur car elle est apparue après
la première et son nom a été donné pour s’en différencier. Une autre appellation, que je trouve
plus à propos, est utilisée. C’est le suivi par marqueur naturel.
 Basé sur un modèle 3D de l’objet à suivre (voir figure 5 Markerless 3D).
 Sans connaissance à priori de l’environnement avec des méthodes de type SLAM
(Simultaneous Localization And Mapping) ou PTAM (Parallel Tracking And Mapping) (voir
figure 5 SLAM ou PTAM).
Figure 5: Les différents types d'algorithmes de suivi.
La e-maintenance et la réalité augmentée
14/65
État de l’art > La réalité augmentée et les opérations de maintenance
Afin de comparer les différents algorithmes, Lieberknecht [65] a proposé une base de données de
vidéos permettant de tester différentes configurations rencontrées pour une application de réalité
augmentée. 3 types de critères sont utilisés :
 Le type d’image cible utilisée (peu et très texturée et densité des éléments affichés).
 Le mouvement de caméra effectué.
 Illumination.
Cette base de vidéo est intéressante pour tester ses propres algorithmes et les comparer à ceux
existants. En effet, pour chaque vidéo, la position du marqueur par rapport à la caméra est connue à
chaque frame. Par conséquent il est aisé de mesurer l’écart entre la position réel et la position donnée
par l’algorithme de suivi. Cela permet aussi de comparer les vitesses d’exécution des différents
algorithmes.
2.4.4.1 Suivi avec marqueur (fiducial marker)
Un marqueur, appelé Iref, est une image avec de fortes contraintes (voir figure 6) :
 Une image carrée.
 En noir et blanc.
 Avec une épaisse bande noire autour.
Figure 6: Exemple de marqueur pour le suivi en réalité augmentée.
Ces contraintes de formes et de couleurs sont suffisamment fortes pour permettre de repérer
facilement le marqueur dans une scène filmée, appelée Iscene, et ainsi en déduire la pose de la caméra.
Le recalage se fait en plusieurs étapes (voir figure 7). Tout d’abord l’image est binarisée, c’est-à-dire le
passage d’une image avec 256 niveaux de gris à une image en noir et blanc par un seuillage. Ensuite,
les contours du carré sont détectés grâce à une transformée de Hough. Puis les coins du carré sont
repérés avec le détecteur de coin de Harris [66]. La position ces derniers permet de calculer la pose de
la caméra. Enfin, la partie centrale, sur fond blanc, du marqueur est comparée à une base de données
de marqueur. Cela permet de connaitre quelle augmentation doit être affichée. Enfin l’augmentation
choisie est ajoutée pour être rendue sur le dispositif d’affichage.
La e-maintenance et la réalité augmentée
15/65
État de l’art > La réalité augmentée et les opérations de maintenance
Image filmée
Ajout des
augmentations
Binarisation par
seuillage
Calcul de la
pose de la
caméra
Détection de
contour (Hough
transform)
Reconnaissance
du marqueur
Détection des
coins
(Harris Corner)
Figure 7: Algorithme de réalité augmentée avec marqueur. Images provenant du site ARToolkit [67]
Avantages
 Rapidité d’exécution de l’algorithme de détection.
 Stabilité de la détection.
Inconvénients
 L’environnement doit être préparé avec des marqueurs.
 Une occlusion partielle du marqueur empêche la reconnaissance.
 Sensible à la luminosité.
La e-maintenance et la réalité augmentée
16/65
État de l’art > La réalité augmentée et les opérations de maintenance
2.4.4.2 Suivi avec image de référence ou marqueur naturel (Image Target)
Les inconvénients cités précédemment ont amené à rechercher d’autres algorithmes permettant de
faire de la réalité augmentée. Le suivi avec images de références répond à ces contraintes. En effet, ce
type de suivi étant basé sur des images plus « naturelles », déjà présente dans l’environnement, il n’est
plus nécessaire de préparer l’environnement en y plaçant des marqueurs pour permettre au système
de réalité augmentée de se repérer dans l’environnement. De plus, l’image de référence contient des
centaines de points d’intérêts (voir figure 9). Par conséquent, une occlusion partielle de l’image de
référence n’empêche pas le système de la repérer (seuls 3 points d’intérêts sont nécessaires pour
calculer la pose de la caméra). Pour rappel, dans un système de réalité augmentée, le but est de
retrouver une image de référence, appelé Iref, dans le flux vidéo filmant la scène Iscene. Le recalage par
image de référence est basé sur la détection de points d’intérêts. L’extraction et la caractérisation des
points d’intérêts font partie du thème plus large de la caractérisation d’une image. Une image peut
être caractérisée de plusieurs manières :
 Les bords ou contours
Ils peuvent être détectés grâce aux filtres de types Sobel, Prewitt, Roberts or Canny.
 Les coins
Ils peuvent être détectés par le détecteur de coin de Harris [66].
 Les points d’intérêts
Plusieurs algorithmes existent pour cela. Citons parmi eux SIFT (Scale Invariant Feature
Tracking) [68], SURF (Speeded Up Robust Features) [69], FAST (Features from Accelerated
Segment Test) [70].
Ce sont ces derniers qui sont le plus intéressants dans le cas de la réalité augmentée. En effet, les
points d’intérêts ont plusieurs caractéristiques indispensables. Comme expliqué par la Washington
University [71], pour le cas du SIFT, le point d’intérêt possède ces caractéristiques :
 Local : chaque point d’intérêt est local à l’image. Par conséquent, sa détection est robuste à
l’occlusion.
 Distinct : chaque point d’intérêt est caractérisé par un descripteur suffisamment unique par
rapport aux autres. Une grande base de données d’image de référence ne pose pas de
problème.
 Invariable : chaque descripteur du point d’intérêt est invariable à la translation, à la rotation
et en partie au changement d’échelle. Le descripteur est de plus partiellement robuste au
changement d’illumination.
 Quantité : Les points d’intérêts sont nombreux même pour une petite image. A titre d’exemple
l’image de gauche de la figure 9 contient 865 points d’intérêts SURF (seuls 30 sont affichés).
 Efficacité : l’algorithme a des performances proches du temps réel.
 Extensible : le principe peut être appliqué avec différents descripteurs.
En matière de Vision Robot, la notion de scale a été utilisée pour répondre aux exigences de robustesse
des points d’intérêts au changement d’échelle. Pour obtenir une image à différent scale, il est d’usage
de convoluer successivement l’image avec un filtre Gaussien. La convolution permet de faire
disparaitre petit à petit les textures de l’image (dans la figure 8, les écritures et les codes-barres) pour
ne garder que les formes les plus marquantes.
Figure 8: Exemple de l'image à différentes échelles (scale). L'image de base est convoluée par un filtre gaussien de sigma=4,
puis l'image résultante est convoluée avec le même filtre gaussien… etc
La e-maintenance et la réalité augmentée
17/65
État de l’art > La réalité augmentée et les opérations de maintenance
La figure 9 ci-dessous montre un exemple de points d’intérêts extraits avec l’algorithme SURF. Les
cercles verts sont centrés sur le point d’intérêt, la taille du cercle représente l’échelle (scale) à laquelle
le point d’intérêt a été détecté. Le rayon du cercle, quant à lui, indique dans quelle direction se trouve
le gradient le plus prononcé du point d’intérêt.
Figure 9: Points d’intérêts (features) extraits avec l’algorithme SURF. Image de référence Iref (à gauche), Image de la scène (à
droite)
Une fois que le point d’intérêt a été trouvé, il est caractérisé par un descripteur unique. Nous ne nous
étendrons pas sur cette notion de descripteur. Plusieurs articles intéressants expliquent comment ils
sont calculés [68] [69] [72]. Ce qu’il faut retenir est que chaque point d’intérêt peut être décrit de
manière unique. Cela permettra donc de faire la mise en correspondance entre les points d’intérêts de
l’image de référence et de l’image de la scène (voir figure 10).
L’algorithme, peut être schématisé de cette manière.
Image filmée
Iscene
Ajout des
augmentations
Extraction des points
d'intérêts sur Iscene
Calcul de la pose de la
caméra
Mise en
correspondance des
descripteurs de points
d'intérêts entre
Iref et Iscene
Figure 10: Algorithme de réalité augmentée avec image de référence.
La e-maintenance et la réalité augmentée
18/65
État de l’art > La réalité augmentée et les opérations de maintenance
2.4.4.3 Réalité augmentée : suivi 3D (3D tracking)
La reconnaissance d’objet 3D est basée sur de la détection de contour. Pour configurer celle-ci, il faut
donner le modèle 3D de l’objet, puis paramétrer le point de vu de départ pour le détecter. Une fois
paramétrer l’algorithme suit ces étapes.
Image filmée
Iscene
Ajout des
augmentations
Calcul de la
pose de la
caméra
Détection de
contour
Reconnaisance
du modèle 3D
Figure 11: Algorithme de réalité augmentée avec détection 3D
2.4.5 Réalité augmentée : les dispositifs d’affichage
Idéalement, le contenu virtuel et réel devrait être affiché directement sur l’œil afin que l’objet virtuel
et l’objet réel soient mixés directement dans la vue du sujet. Dans l’exemple exposé ci-dessous, nous
supposons que l’objet réel d’intérêt est un ventilateur, et que l’augmentation est représentée par une
flèche verte indiquant l’endroit dans lequel placer la vis pour fixer l’objet. La figure ci-dessous
représente ce qu’un sujet humain devrait voir idéalement, sans passer par un appareil intermédiaire
pour afficher l’augmentation.
Figure 12: Représentation idéale de la réalité augmentée vu par un sujet humain. La flèche verte représente l'augmentation
virtuelle.
Pour l’instant, il n’est pas encore possible de créer du contenu virtuel directement dans la vision d’un
sujet humain. Il est donc nécessaire d’utiliser un système tiers : mobile, tablette, smart glasses,
projecteur pour permettre de mixer le contenu réel et virtuel. La figure 13 ci-dessous recense les
différents types d’appareil disponibles.
La e-maintenance et la réalité augmentée
19/65
État de l’art > La réalité augmentée et les opérations de maintenance
Optical seethrough
Optical Glance
Video see through
Display
Technologies
Hand held display
Projective worn
Projective fixed
Contact lens
Figure 13: Les différents appareils d'affichage de la réalité augmentée.
En fonction de l’appareil choisi, le contenu virtuel et réel sera mixé et visible différemment par le sujet.
La figure 14 montre le principe de fonctionnement d’un afficheur de réalité augmentée en Video SeeThrough et Optical See-Through
Figure 14: Principe de fonctionnement de l’affichage de la réalité augmentée avec 2 types différents d'afficheurs.
Video See-Through (à gauche) et Optical See-Through (à droite) [73]
La figure 15 représente les différentes manières de voir les éléments de réalité augmentée, que nous
appelons « augmentation ». Tout d’abord avec des lunettes de type Optical See-Through (voir figure
15-(a)), les objets virtuels sont mixés avec le monde réel de manière naturelle. C’est-à-dire que le sujet
regarde l’objet réel et la partie augmentée est visible sans que l’utilisateur ne doive déplacer son
regard sur un autre écran. De plus le sujet a les mains libres et l’objet virtuel reste bien synchronisé
avec les mouvements de la tête du sujet, si ces mouvements sont lents, moins de 5° par seconde. En
effet, si les mouvements sont rapides, le temps de calcul nécessaire au recalage de l’augmentation
créé un décalage entre la réalité et l’objet virtuel à synchroniser. Ce décalage créé de la fatigue
mentale, visuelle et peut même provoquer des nausées. A cette inconvénient s’ajoute le fait que
l’utilisateur voit l’objet virtuel en transparence car les écrans permettant de faire le rendu de l’objet
virtuel sont semi-transparents ; le sujet doit pouvoir voir le monde réel en même temps (voir figure
14). De plus le Field Of View (FOV) est faible à cause des limites du matériel. Dans la figure 15-(a) l’écran
est symbolisé par le rectangle vert. Cela veut dire que si l’utilisateur tourne la tête et que
l’augmentation de la flèche verte sort du rectangle alors l’augmentation n’est plus visible pour
l’utilisateur. L’autre inconvénient est pour la sécurité de l’utilisateur. En effet, les augmentations
peuvent cacher en partie la vue du monde réel à l’opérateur, puisqu’elles apparaissent sur l’écran situé
sur la paire de smart glasses. Il est donc nécessaire de bien penser son application afin de ne jamais
boucher la vue de l’utilisateur et garantir sa sécurité tout le long de la procédure.
La e-maintenance et la réalité augmentée
20/65
État de l’art > La réalité augmentée et les opérations de maintenance
(a)
(b)
(d)
(e)
(c)
Figure 15: Représentation de la réalité augmentée vue avec différents types d'appareil. (a) Lunette Optical See-Through, (b)
casque Video See-Through, (c) lunette Optical Glance (type Google Glass), (d) tablette et (e) projecteur.
En ce qui concerne les casques de réalité virtuelle (ou Video See-Through) figure 15-(b), l’utilisateur
voit le monde réel et virtuel au travers d’un écran situé directement devant ces yeux. Cette
configuration a été utilisée dans plusieurs expériences conduites précédemment [74], mais n’est
évidemment pas utilisable dans le cadre de la maintenance industrielle. En effet l’utilisateur ressentira
une perte de repère lié au fait qu’il devra se déplacer en voyant la réalité au travers d’un écran.
L’arrivée sur le marché des lunettes intelligentes va rendre ce type d’appareil obsolète pour la réalité
augmentée.
Dans le cas des lunettes Optical-Glance figure 15-(c), type Google glass, l’utilisateur voit le contenu
virtuel et réel sur un écran situé sur la partie supérieure droite de ses yeux. Par conséquent il peut voir
le monde réel en regardant normalement, et lorsqu’il a besoin de voir les informations données par
les augmentations il suffit qu’il lève les yeux en haut à droite. Cette méthode d’affichage permet de
rendre de manière synchrone le contenu réel et virtuel, avec un léger décalage dans le temps dû au
traitement de l’algorithme. De plus elle permet de palier aux problèmes de sécurité rencontrés avec
les lunettes Optical See-Through -dû à l’occlusion par les augmentations- mais pourrait occasionner
une fatigue visuelle et mentale. En effet, le sujet doit constamment lever les yeux vers l’écran déporté
pour voir les augmentations. Une fois qu’il a vu les augmentations dans l’écran déporté, il doit
recentrer sa vision sur la scène réelle et projeter mentalement ce qu’il a vu sur la scène réel. Cette
problématique est la même qu’avec un écran déporté ou un manuel papier. Aussi, la FOV limité de
l’écran déporté, environ 15°, accentue cette fatigue visuelle.
En ce qui concerne la tablette figure 15-(d), elle est sensiblement équivalente aux lunettes de type
Optical glance, sans l’avantage d’avoir les mains libres. Son écran de taille plus élevée, soit une FOV de
25° et sa meilleure résolution la rende tout de même efficace pour ce type d’application. Pour
information, une FOV de 25° représente un écran d’environ 25 cm à une distance de 60 cm, c’est-àdire à bout de bras. Le meilleur avantage de la tablette est qu’elle permet d’interagir de manière
intuitive avec l’application de maintenance en réalité augmentée, ce qui n’est pas encore le cas pour
les lunettes intelligentes. A tel point que les Epson Moverio BT-200 ont mis en place un système de
track pad pour naviguer dans l’interface des lunettes. Pour tous les dispositifs basés sur des lunettes,
il faut porter une attention particulière au fait qu’ils soient binoculaires ; cela offre un meilleur confort
visuel que la version monoculaire.
Enfin, avec le projecteur figure 15-(e), le contenu virtuel n’est pas affiché sur un écran, mais on se sert
du monde réel pour projeter des informations virtuelles dessus. C’est le fonctionnement inverse des
autres technologies qui utilisent un écran pour afficher le monde réel et virtuel en même temps.
L’avantage du projecteur est que l’utilisateur a les mains libres et ne doit rien porter sur lui pour voir
les augmentations. Cependant, la projection nécessite un support. Par conséquent, il n’est pas possible
de projeter une flèche verte flottante dans les airs, comme c’est le cas pour les autres afficheurs. C’est
pourquoi sur la figure 15-(e), la flèche verte est à plat sur le ventilateur. En fait c’est le ventilateur qui
La e-maintenance et la réalité augmentée
21/65
État de l’art > La réalité augmentée et les opérations de maintenance
sert de support de projection pour l’augmentation. Ceci limite donc le type de contenu qu’il est
possible d’afficher avec ce matériel. Le choix de l’appareil est donc important pour une application de
réalité augmentée. S’il y a nécessité d’avoir les mains libres, il faudra bannir la tablette. Si l’opérateur
doit toujours avoir une bonne vision de son environnement, il faudra prendre en compte l’occlusion
possible liée aux lunettes Optical See-Through. Le tableau ci-dessous permet de comparer les
différents appareils affichant les éléments de réalité augmentée. Les critères de choix proposés (en
italique) complètent le travail effectué par Van Krevelen [63].
Optical
Hand
Device Type
Contact
Optical Video see
Projective Projective
seeheld
Features
lens
Glance
through
worn
fixed
through
display
Mobile
+
+
+
+
+
+
Outdoor use
+
+
+
+
+
Gesture
Gesture Gesture
Gesture
Gesture
Gesture
User interface
Tactile
or Tactile or Tactile or Tactile or Tactile
or Tactile or Tactile
Hands free
+
+
+
+
+
+
usage
Field Of View
+
Limited
Limited
Limited
+
+
+
Occlusion of
real world by
Yes
Yes
Limited
Yes
Limited
No
No
AR object
Free
augmentation
+
+
+
+
+
No
No
model
Binocular
Eye strain
Power usage
Possible
Not
determined
Limited
Possible
No
Yes
Yes
Yes
Yes
Yes
Yes
Yes
No
No
No
Limited
Limited
Limited
Limited
Limited
Unlimited
Tableau 1: Comparatif des appareils d'affichage de réalité augmentée.
2.4.6 Réalité augmentée : les frameworks existants
Comme vu dans le paragraphe « Réalité augmentée : les méthodes de suivis (tracking) », la réalité
augmentée est basée sur des méthodes de traitement d’image et des méthodes de rendu 3D. Afin de
ne pas avoir à développer toutes les fonctionnalités nécessaires, il est plus intéressant d’utiliser des
frameworks existants. Il en existe de nombreux, mais nous allons en énumérer seulement 4. Nous les
choisissons car ce sont les frameworks les plus aboutis et les plus avancés dans ce domaine. Pour notre
projet nous avons tout d’abord fait un premier démonstrateur sur Vuforia, puis nous avons choisi de
poursuivre sur Metaio. Ce dernier offre notamment du suivi 3D sans limite de forme, contrairement à
Vuforia qui le limite à des formes de boite et de cylindre. De plus Metaio a une forte communauté de
développeur et de nombreux webinars présentés par des experts. Afin de pouvoir choisir le framework
le plus adéquat, nous proposons le tableau 2 les comparant. Nous mettons sur fond vert les
caractéristiques distinguant significativement un des frameworks des autres. Par exemple les webinars
officiels permettent de prendre en main rapidement le framework et de créer ses premières
applications rapidement. Le suivi 3D peut être utile pour aller plus loin dans la détection d’objets peu
texturés.
La e-maintenance et la réalité augmentée
22/65
État de l’art > La réalité augmentée et les opérations de maintenance
AR Framework
Characteristics
Metaio
Vuforia
Wikitude
OpenCV
Marker tracking
Image Target
tracking
Yes
Yes
Yes
Dev
Yes
Yes
Yes
Dev
3D tracking
Yes
Limited
No
Dev
Face Tracking
Yes
No
No
Unity 3D
Yes
Yes
Yes
iOS
Android
Windows Phone 8
PC
Yes
Yes
No
Yes
Yes
Yes
No
Yes
Yes
Yes
No
Yes
Dev
Need
Integration
Yes
Yes
Yes
Yes
Accelerometer
and Gyroscope
sensors
Yes
Yes
Yes
Dev
Yes
Yes
Yes
Yes
Yes
Yes but
Watermark
No
No
Yes but
Watermark
No
No
Yes but
Watermark
No
No
Developer
community
Official Webinar
Free
Open Source
box and cylinder
Yes
Yes
Tableau 2: Comparatif des SDK disponibles pour la réalité augmentée.
Ce tableau présente de plus OpenCV. OpenCV est une bibliothèque plutôt qu’un framework. Nous
l’avons retenu car celle-ci contient tous les outils permettant de faire du traitement d’image et donc
de la réalité augmentée. OpenCV a surtout l’avantage d’être open source, il permet donc de
programmer et modifier tout type d’algorithme. C’est un besoin indispensable lorsque l’on souhaite
faire des recherches dans le domaine de la vision robot et plus particulièrement dans les algorithmes
liés à la réalité augmentée. Enfin OpenCV est portable sur les mobiles et tablettes Android et iOS.
2.4.7 Réalité augmentée : recherches et projets
Les travaux de recherche sur la réalité augmentée sont nombreux. Ils peuvent s’intéressés aux
algorithmes de suivi (tracking), comme par exemple SIFT [68], SURF [69], aux techniques de rendus des
augmentations [75], à l’utilisation de la réalité augmentée pour le travail collaboratif [64]. Pour notre
problématique nous nous intéresserons plus particulièrement aux recherches sur la réalité augmentée
dédiée à la maintenance. Henderson [74] propose un système de réalité augmentée, avec un casque
de type Video See Through, permettant à un opérateur d’être guidé pas à pas dans ses opérations de
maintenance dans une tourelle de char. Le guide permet de localiser tout d’abord la tâche à effectuer
puis détaille pour l’opérateur, en réalité augmentée, la procédure de maintenance à suivre pas à pas
(voir figure 16). L’auteur compare avec 2 autres méthodes : un écran déporté et un casque Video See
Through affichant les étapes de maintenance sans réalité augmentée.
La e-maintenance et la réalité augmentée
23/65
État de l’art > La réalité augmentée et les opérations de maintenance
Figure 16: Maintenance en réalité augmentée Henderson [74]. (a) et (b) indication de la localisation de la tâche. (c) et (d)
indication de l’étape à effectuer dans la procédure de maintenance.
L’auteur montre que la localisation de la tâche se fait 10% plus rapidement avec le système en réalité
augmentée. L’exécution globale de la tâche n’est pas achevée plus rapidement avec le système en
réalité augmentée. L’afficheur utilisé peut expliquer le fait que le temps d’exécution ne soit pas plus
rapide avec le système en réalité augmentée puisque, dans cette expérience, l’utilisateur porte un
casque en Video See-Through. Or, nous avons expliqué précédemment que la vision du monde réel à
travers un casque en Video See-Through n’est pas naturelle et peut ralentir l’opérateur puisqu’il est
désorienté par la manière dont il perçoit la réalité. Une autre expérience faite par Bottecchia [76]
propose un système de réalité augmentée, appelé TAC, avec des lunettes Optical See-Through
monoculaire, permettant à un opérateur d’être assisté à distance par un expert. Grâce à la caméra
située sur ces lunettes, l’expert voit ce que voit l’opérateur et peut « augmenter » la vue de l’opérateur
pour l’assister dans sa tâche. Cela permet à l’expert d’utiliser des références ostensives comme
« Regarde cette pièce » ou « Prends cela ». Le pointage de l’objet d’intérêt par l’expert est fait grâce à
une augmentation et non son doigt. Cette caractéristique de l’échange verbal permet aux 2
protagonistes de pouvoir échanger avec un sentiment de co-présence, comme-ci ces 2 personnes
étaient dans le même lieu.
Figure 17: Système TAC [76]. Interface de l’expert. En rouge ce que voit l’opérateur dans ses lunettes Optical See-through.
Avec ce système TAC, la collaboration à distance se rapproche donc de la collaboration présentielle.
L’étude conclue que la tâche n’est pas effectuée plus rapidement qu’avec un système classique de
conversation téléphonique en main libre ou un système de réalité augmentée déportée sur un écran
de PC. Cependant l’étude montre que l’opérateur a le sentiment que la conversation est plus aisée
avec le système TAC. L’analyse des vidéos montre que l’opérateur prend plus son temps avec le
système TAC et demande confirmation à l’expert.
Il existe aussi des projets industriels dans ce domaine. Citons parmi ceux-là le projet MARTA (Mobile
Augmented Reality Technical Assistance) conduit par Volkswagen. Les véhicules étant de plus en plus
complexes, leur maintenance nécessite des compétences avancées. Ce projet entend répondre à cette
problématique. Il a pour objectif d’aider les opérateurs de maintenance via une tablette affichant la
procédure de maintenance en réalité augmentée (voir ci-dessous).
La e-maintenance et la réalité augmentée
24/65
État de l’art >
Figure 18: Projet MARTA. La tablette affiche les opérations de maintenance en réalité augmentée.
2.4.8 Conclusion sur l’état de l’art de la réalité augmentée
Lors de ce chapitre, nous avons présenté comment la réalité augmentée fonctionnait et les principes
de vision par ordinateur qui permettaient sa mise en œuvre. Différents dispositifs d’affichage existent
pour afficher des augmentations. Les choix disponibles sont variés et dépendent de l’application à
développer. En ce qui concerne la maintenance, un dispositif main libre est indispensable. La sécurité
des opérateurs étant un point important, un dispositif de type « Optical Glance » semble un bon
compromis. Les projets de recherche existants sur cette thématique nous montrent déjà que cette
technologie permet de localiser plus rapidement une tâche. De plus cela permettrait à l’opérateur
d’exécuter la procédure de maintenance, si ce n’est plus rapidement, tout au moins de manière plus
sereine.
Cependant, la création de contenu en réalité augmentée reste encore difficile d’approche pour des
personnes n’ayant que peu de compétences en développement informatique. Il est donc nécessaire
de rendre la création de contenu en réalité augmentée accessible à un maximum afin de rendre
l’adoption de cette technologie effective. Nos travaux de recherche se sont donc faits dans cette
optique : standardiser la création de contenu en réalité augmentée pour les opérations de
maintenance afin rendre cette technologie industrialisable et à la portée de tous. C’est ce que nous
présenterons dans le chapitre « 3.5 Standardisation des procédures de maintenance en réalité
augmentée ».
La e-maintenance et la réalité augmentée
25/65
Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents
3 Travaux et résultats
3.1 Modélisation et simulation basé sur les systèmes Multi-Agents
La maintenance des parcs éoliens est une tâche complexe qui se déroule sur plusieurs sites et soumise
à des contraintes liées à la météo et à la disponibilité de ressources humaines qualifiées, des pièces de
rechange et des moyens de transport et de levage.
La réussite d'une tâche de maintenance requiert l'intervention de plusieurs acteurs du système. La
décomposition du système en plusieurs parties interactives est la meilleure façon de modéliser le
système afin de pouvoir en contrôler plus facilement les différentes parties. L'utilisation des systèmes
multi-agents est une manière très intéressante pour la modélisation et la simulation de ce type de
système.
3.1.1 Modèle
Le système a été divisé en cinq parties reliées entre elles, chaque partie représentant un ou plusieurs
agents autonomes comme le montre la Figure 38. Nous avons considéré 5 types d'agents:
 Les agents type éoliennes
 Les agents type maintenance
 Les agents type ressources
 Les agents type monitoring
 Les agents type météo
*..1
Impact
Turbines
Supervise >
Depends >
Weather
Select & Order >
Monitoring
SM
CBM
S>
>
Human
Resource
Maintenance
CM
Material
*..1 Use
Resources
Figure 19 : architecture basé sur les systèmes Multi-agent
Nous allons décrire dans les paragraphes suivants le comportement et la composition de chaque agent
parmi ceux qui viennent d'être cités.
3.1.1.1 Les agents éoliennes
Chaque éolienne est représentée par un agent autonome communicant. On considère quelques
caractéristiques techniques liées à la production de l'énergie électrique en fonction de la vitesse du
vent Vs , notamment:



Vcin la vitesse de coupure d'entrée représentant la vitesse minimale permettant la production
d'énergie.
Vcout
la vitesse de coupure de sortie c'est à dire, la vitesse maximale de fonctionnement.
L'éolienne est arrêtée si la vitesse de vent y est supérieure.
Vr la vitesse minimale à laquelle l'éolienne produit le maximum d'énergie.
La puissance générée par l'éolienne suit la courbe de puissance représentée sur la Figure 20.
Conformément aux travaux de [25] la puissance générée par une éolienne exposée à une vitesse de
vent 𝑉𝑠 est calculée par la relation mathématique suivante:
La e-maintenance et la réalité augmentée
26/65
Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents
𝟎 𝒊𝒇 𝟎 ≤ 𝑽𝒔 < 𝑽𝒄𝒊𝒏
𝑷𝒓 (𝒂 + 𝒃 ⋅ 𝑽𝒔 + 𝒄 ⋅ 𝑽𝟐𝒔 ) 𝒊𝒇 𝑽𝒄𝒊𝒏 ≤ 𝑽𝒔 < 𝑽𝒓
𝑷𝒓 =
𝑷𝒓 𝒊𝒇 𝑽𝒓 ≤ 𝑽𝒔 < 𝑽𝒄𝒐𝒖𝒕
{
𝟎 𝒊𝒇 𝑽𝒄𝒐𝒖𝒕 ≤ 𝑽𝒔
(1)
Tel que 𝑃𝑟 est la puissance nominale de l'éolienne.
Les paramètres a,b et c de l'équation (1) sont obtenus par les equations suivantes:
𝑎=
1
[𝑉 (𝑉
(𝑉𝑐𝑖𝑛 − 𝑉𝑟 )2 𝑐𝑖𝑛 𝑐𝑖𝑛
𝑏=
1
[4(𝑉𝑐𝑖𝑛
(𝑉𝑐𝑖𝑛 − 𝑉𝑟 )2
𝑐=
1
[2
(𝑉𝑐𝑖𝑛 − 𝑉𝑟 )2
𝑉𝑐𝑖𝑛 +𝑉𝑟 3
)
2𝑉𝑟
3
+𝑉
+ 𝑉𝑟 ) (
𝑉𝑐𝑖𝑛 𝑟
)
2𝑉𝑟
− 4(
𝑉𝑐𝑖𝑛 +𝑉𝑟 3
) ]
2𝑉𝑟
+ 𝑉𝑟 ) − 4𝑉𝑐𝑖𝑛 𝑉𝑟 (
− (3𝑉𝑐𝑖𝑛 + 𝑉𝑟 )]
]
Figure 20 : Power curve.
La vitesse du vent est mesurée dans des stations météorologiques souvent situées au niveau de la mer
ou au niveau terrestre. Cette vitesse n'est pas la même au niveau de la nacelle de l'éolienne, et elle
dépend principalement de sa hauteur, la hauteur de la station météorologique et la rugosité de
l'environnement [23]. La vitesse du vent au niveau de l'éolienne est donnée par la relation suivante
[77] [78].
ℎ 𝛼
𝑉𝑠 = 𝑉0 ( )
ℎ0
où:
ℎ: La hauteur de la nacelle.
ℎ0 : La hauteur du point de mesure du vent.
𝑉𝑠 : La vitesse du vent au niveau de la nacelle.
𝑉0 : La vitesse du vent mesurée dans la station à la hauteur ℎ0
𝛼: Le coefficient du gradient vertical de la vitesse du vent.
Nous avons proposé quelques indicateurs de performance de l'éolienne afin de pouvoir mesurer le
risque de tomber en panne, le degré de défaillance de chaque composant, ainsi qu'un indicateur sur
l'état de santé de toute l'éolienne. La Tableau 3 décrit les indicateurs que nous avons définis avec leurs
significations.
Tableau 3: Performance indicators of a turbine
indicateur
EHF (Equipement Health Factor)
Description
C'est un indicateur de santé globale de l'éolienne, il varie
dans le temps, lors d'un incident ou d'une tâche de
maintenance. Il varie entre 0 (très mauvaise état) et 10 (très
bon état)
La e-maintenance et la réalité augmentée
27/65
Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents
MAR (Material At Risk)
IsD ( Inscpection Delay)
C'est la quantité d'énergie produite depuis la dernière
inspection ou maintenance.
Le temps passé depuis la dernière validation de l'éolienne
par une maintenance ou une inspection.
L'éolienne possède plusieurs modes de fonctionnement qui impactent la qualité et la quantité de
puissance produite. Nous avons identifié quatre modes de fonctionnement :
1.
2.
3.
4.
Fonctionnement normal: L'éolienne est en bonne santé avec un 𝐸𝐻𝐹 ∈ [8; 10] avec une
probabilité de tomber en panne de 5%.
Fonctionnement dégradé: L'éolienne produit à 80% de sa puissance maximale. Cette situation
coïncide avec un 𝐸𝐻𝐹 ∈ [4; 8[. La probabilité de tomber en panne dans ce mode est de 20%.
Fonctionnement critique: L'éolienne produit 30% de sa puissance maximale. Cette situation
coïncide avec un 𝐸𝐻𝐹 ∈ [1; 4[et une probabilité de tomber en panne de 70%.
En panne: Dans cet état l'éolienne est à l'arrêt, elle attend une maintenance curative et son
EHF ∈ [0; 1[ .
Pour définir le comportement de l'éolienne et ces interactions avec son environnement, nous avons
défini deux fonctions:
1.
2.
Produce: Elle définit la puissance électrique produite.
Degrade: Elle met à jour les indicateurs de performance de l'éolienne. Les différents
composants de l'éolienne ont des taux de pannes qui suivent une loi de Weibull à trois stages
avec des paramètres différents pour chaque composant. Nous avons pris en considération les
cinq composants les plus influents. Notamment le système électrique, le système
d'orientation, la boîte de vitesse, le système hydraulique et les pales. L'arrêt d'une composante
de ce système provoque l'arrêt de l'ensemble, la fiabilité de l'éolienne est donc calculée par la
formule suivante:
𝑅𝑡𝑢𝑟 = 𝑅𝑒𝑠 × 𝑅𝑦𝑠 × 𝑅𝑔𝑏 × 𝑅ℎ𝑠 × 𝑅𝑏𝑙
Où:
𝑅𝑒𝑠 : la fiabilité de fonctionnement du système électrique
𝑅𝑦𝑠 : la fiabilité de fonctionnement du système d'orientation
𝑅𝑔𝑏 : la fiabilité de fonctionnement la boîte de vitesse
𝑅ℎ𝑠 : la fiabilité de fonctionnement du système hydraulique
𝑅𝑏𝑙 : la fiabilité de fonctionnement des pales
Les autres agents peuvent impacter des paramètres de performances des éoliennes tels que, l'agent
météo ou l'agent maintenance, d'autres peuvent juste les consulter tel que l'agent monitoring.
3.1.1.2 L'agent météo
La variation des conditions météorologiques est représentée par un agent météo. Il est caractérisé par
la vitesse du vent 𝑉𝑠 , la hauteur des vagues, 𝐻𝑠 , les eclairs, 𝐿𝑔 , et la visibilité 𝑉𝑖𝑠𝑖. Ces paramètres sont
générés suivant des lois statistiques (Weibull pour 𝑉𝑠 et Rayleigh pour 𝐻𝑠 ) qui changent de paramètres
selon la saison. Nous avons défini deux fenêtres de météo pour limiter les types d'interventions
possibles sur les éoliennes.
1.
2.
Fenêtre sécurisée: elle englobe des conditions météorologiques qui permettent une
intervention sécurisée sur les éoliennes par les techniciens et les experts (ingénieurs), même
s'ils n'ont pas une très grande expérience maritime. Les conditions météorologiques sont :
𝑚
𝑉𝑠 ≤ 8 𝑠 , 𝐻𝑠 ≤ 1.5 𝑚 ,and 𝑉𝑖𝑠𝑖 ≥ 5 𝑘𝑚.
Fenêtre large: elle est caractérisé par des conditions météorologiques sévères qui permettent
des interventions sur les éoliennes par du personnel expérimenté à la navigation maritime et
𝑚
l'intervention dans des conditions difficiles. Les limites de cette fenêtre sont : 𝑉𝑠 ≤ 12 ,
𝑠
𝐻𝑠 ≤ 2 𝑚 and 𝑉𝑖𝑠𝑖 ≥ 2 𝑘𝑚
La e-maintenance et la réalité augmentée
28/65
Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents
Le comportement de l'agent météo est défini par les fonctions update qui permet de générer les
valeurs des caractéristiques du temps et la fonction degrade qui représente l'effet de la météo sur les
performances des éoliennes.
3.1.1.3 Les agents ressources
Nous avons défini deux types d'agent ressources : matérielles et humaines.
L'agent ressources humaines est caractérisé par le nombre d'ingénieurs (Ing), le nombre de techniciens
(Tech) et l'expérience des équipes (Exp). Cet agent s'expérimente avec le nombre d'interventions
effectuées (la fonction Expérience), et se met à jour pour définir la disponibilité des équipes (la fonction
update_R).
L'agent ressources matérielles contient le nombre d'outils nécessaires pour effectuer une tâche de
maintenance. On distingue les bateaux (grand, moyen et petit), les grues (2 MT et 50 MT) et les pièces
de rechange. Le comportement de cet agent est géré par les fonctions dégradation et maintenance qui
représentent respectivement la dégradation du matériel utilisé (bateau, grue) et sa réparation.
3.1.1.4 Les agents maintenance
Les tâches de maintenance sont représentées par un ensemble d'agents de maintenance corrective,
préventive systémique ou préventive conditionnelle. Chaque type est caractérisé par son coût, ses
besoins en terme de ressources et ses conditions d'utilisation (fenêtre de temps, type de panne, etc.).
1.
Maintenance préventive systémique: C'est le type de maintenance le plus utilisé vu son coût
peu élevé. En ce qui concerne les éoliennes, cette stratégie de maintenance est très utilisée.
Souvent, les lubrifiants et les composantes à durée de vie inférieure à 12 mois sont remplacés
et une vérification du système est faite. Ce type d'intervention dure entre 1 et 2 jours et
demande l'intervention d'un expert et deux techniciens. Il est planifié en général deux fois par
an quand les conditions météorologiques le permettent.
2.
Maintenance préventive conditionnelle: C'est une maintenance provoquée par les retours
capteurs et les indicateurs de performance de l'éolienne. Ce type de maintenance est
accompagné d'un diagnostic des causes du problème. Souvent, on en profite pour effectuer
les opérations de maintenance préventive systémique.
3.
Maintenance corrective: On fait appel à ce type de maintenance pour corriger des pannes
importantes qui provoquent l'arrêt de l'éolienne. C'est une intervention très coûteuse qui
demande des moyens importants (appel à des sous-traitants, des bateaux de moyennes tailles,
des grandes grues, etc.) et des délais allant de 2 à 5 jours d'intervention. Ce type de
maintenance n'est pas recommandé. Pour notre modèle, on ne fait appel à ce type de
maintenance que quand l'éolienne est en panne.
Les différents agents de type maintenance entretiennent une relation de coopération en terme de
données et de dates d'intervention afin d'augmenter l'efficacité des tâches. Nous avons supposé que
l'intervention avec n'importe quel type de maintenance remet l'état de l'éolienne à "Normale" et
remet tous les indicateurs de performance à leur état initial hormis les taux de défaillances. Le
comportement des agents maintenance est géré par les fonctions suivantes:
1.
Demande Ressources : cela permet de récupérer les ressources matérielles et humaines
nécessaires à la tâche de maintenance sélectionnée.
2.
Répare : Cette fonction enclenche la réparation de l'éolienne. Pendant toute la durée de la
tâche de maintenance l'éolienne est à l'arrêt en mode maintenance.
3.
Rendre Ressource: Une fois la tâche de maintenance effectuée, l'agent maintenance rend les
ressources qu'il a utilisé, remet l'éolienne en marche et s'autodétruit.
3.1.1.5 L'agent monitoring
C'est l'agent qui gère la planification des tâches de maintenance et la priorité entre les éoliennes qui
ont besoin de réparation ou de contrôle. Il permet de surveiller l'état des autres agents, de sélectionner
les éoliennes qui ont besoin de maintenance ainsi que le type de maintenance adéquat.
La e-maintenance et la réalité augmentée
29/65
Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents
Figure 21: Fonctionnement de l’agent Monitoring
Le choix de l'éolienne à maintenir se fait suivant un certain nombre de critères. Nous avons défini les
critères de décision suivants: la date pour la prochaine maintenance préventive systémique, le niveau
de risque de tomber en panne ou de propager la défaillance, ainsi que l'état de santé de l'éolienne.
Le choix du type de maintenance à effectuer dépend du critère que l'on a utilisé pour la sélection de
l'éolienne. Si le choix de l'éolienne est basé sur le délai, alors on choisit une maintenance systémique,
s'il est fait en se basant sur l'état de la machine ou le niveau de risque, on choisit une maintenance
conditionnelle. Si l'éolienne est en panne, on choisit une maintenance corrective. La Figure 21 décrit
l’algorithme utilisé par cet agent pour faire le choix du type de la maintenance et l’éolienne à
maintenir.
3.1.2 Modèle de coût
Le coût de la maintenance est un critère important qui est toujours mis en avant dans le processus de
planification de la maintenance. Ce coût dépend de plusieurs paramètres tels que le type de la panne,
le type de la maintenance et sa durée, les conditions météorologiques, le coût de l’installation, et le
coût des infrastructures nécessaires pour la maintenance [79]. Le modèle de coût de maintenance que
nous avons proposé est un paramètre commun entre plusieurs agents où chaque agent vient rajouter
son coût quand il y a lieu. Par exemple le coût de la maintenance accroit quand on utilise des ressources
et quand l’éolienne ne produit pas à sa totale capacité (fonctionnement dans un état dégradé) ou
quand elle est à l’arrêt. Cette perte de production est considérée comme un coût supplémentaire que
l’on prend en compte.
On considère que le coût de la maintenance corrective est plus cher que les autres types de
maintenance. Conformément à [15] le coût d’une maintenance corrective est équivalent à deux
maintenances préventives systémiques. Si on utilise la maintenance conditionnelle, un coût
supplémentaire d’installation de matériel pour le monitoring nécessaire au fonctionnement de ce type
de maintenance est ajouté au coût global de la maintenance. La maintenance conditionnelle est
déclenchée suivant le niveau de l’EHF de l’éolienne.
Le coût de la maintenance après une période de temps est calculé suivant la formule suivante :
𝐺𝐶 = 𝑖𝑠𝑐𝑏𝑚 × 𝐶𝑖𝑛𝑖𝑡 + 𝐶𝑚𝑎𝑖𝑛𝑡 + 𝐶𝑒−𝑙𝑜𝑠𝑠
= 𝑖𝑠𝑐𝑏𝑚 × 𝐶𝑖𝑛𝑖𝑡 + 𝐶𝑝𝑚 + 𝐶𝑐𝑚 + 𝐶𝑑𝑜𝑤𝑛 + 𝐶𝑑𝑔
= 𝑖𝑠𝑐𝑏𝑚 × 𝐶𝑖𝑛𝑖𝑡 + 𝐶𝑠𝑚 + 𝐶𝑐𝑏𝑚 + 𝐶𝑐𝑚 + 𝐶𝑑𝑜𝑤𝑛 + 𝐶𝑑𝑔
Où :
𝑖𝑠𝑐𝑏𝑚 : est un indicateur booléen de la présence d’un système de monitoring pour la maintenance
conditionnelle.
𝐶𝑖𝑛𝑖𝑡 : Le coût d’installation d’un système de surveillance pour la maintenance conditionnelle.
La e-maintenance et la réalité augmentée
30/65
Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents
𝐶𝑚𝑎𝑖𝑛𝑡 : Le coût global de la tâche de maintenance, il est compose du coût de la maintenance
préventive systémique (𝐶𝑝𝑚 ), le coût de la maintenance corrective (𝐶𝑐𝑚 ) et le coût de la maintenance
conditionnelle (𝐶𝑐𝑏𝑚 )
𝐶𝑒−𝑙𝑜𝑠𝑠 : le coût généré par la perte de productivité du à une panne (𝐶𝑑𝑜𝑤𝑛 ) ou à un fonctionnement
en mode dégradé (𝐶𝑑𝑔 ).
Le coût globale GC de la maintenance peut être écrit en détail comme suit :
𝐺𝐶 = 𝑖𝑠𝑐𝑏𝑚 × 𝐶𝑖𝑛𝑡
𝑡𝑟=𝑁𝑇
𝑖=𝑁𝑠𝑚
𝑖=𝑁𝑐𝑏𝑚
+ ∑ ( ∑ 𝐶𝑠𝑚 (𝑖) ∙ 𝑋𝑠𝑚 (𝑡𝑟, 𝑖) +
𝑡𝑟=1
𝑖=1
𝑖=𝑁𝑐𝑏𝑚 +𝑁𝑐𝑚 +𝑁𝑠𝑚
∙ 𝑋𝑐𝑚 (𝑡𝑟, 𝑖) +
∑
𝑖=𝑁𝑐𝑚
∑ 𝐶𝑐𝑏𝑚 (𝑖) ∙ 𝑋𝑐𝑏𝑚 (𝑡𝑟, 𝑖) + ∑ 𝐶𝑐𝑚 (𝑖)
𝑖=1
𝑖=1
𝑖=𝑁𝑐𝑏𝑚 +𝑁𝑐𝑚 +𝑁𝑠𝑚
𝐶𝑒 × 𝐷(𝑡𝑟, 𝑖) +
𝑖=1
∑
𝐶𝑒 × 𝐷𝐺(𝑡𝑟, 𝑖))
𝑖=1
Où:
𝑁𝑇 : le nombre d’éolienne dans le parc
𝑁𝑠𝑚 , 𝑁𝑐𝑏𝑚 et 𝑁𝑐𝑚 : le nombre de maintenance systémique, conditionnelle et corrective
respectivement durant une période de fonctionnement T
𝑋𝑠𝑚 , 𝑋𝑐𝑏𝑚 et 𝑋𝑐𝑚 : des variables de décision booléenne tel que
1 si l'éolienne 𝑡𝑟 est sélectionnée pour une maintenance à l'instant 𝑖
{
0 sinon
𝐷(𝑡𝑟, 𝑖) est un indicateur de l’état de l’éolienne 𝑡𝑟 {1 si l'éolienne 𝑡𝑟 est à l'arrêt à l'instant 𝑖
0 sinon
𝐷𝐺(𝑡𝑟, 𝑖): mesure le niveau de dégradation de l’éolienne 𝑡𝑟 à l’instant 𝑖. Cet indicateur est calculé
comme suit :
𝐷𝐺(𝑡𝑟, 𝑖) =
10−𝐸𝐻𝐹(𝑡𝑟,𝑖)
10
Le coût de la maintenance est une variable globale dans le simulateur, tous les agents peuvent la
changer. On considère un coût cumulatif qui ne fait qu’augmenter dans le temps.
3.1.3 Relation entre les différents agents
Le parc éolien offshore est composé d'un certain nombre d'éoliennes qui sont impactées par l'agent
Météo, pour la production et la dégradation. L'agent monitoring surveille toutes les éoliennes et
repère celles qui sont en panne ou qui ont besoin d'une intervention. Il sélectionne le meilleur type de
réparation à faire et demande à l'agent maintenance adéquat d'intervenir; s'il n'existe pas il le crée.
Avant d'ordonner une maintenance, l'agent monitoring vérifie la disponibilité des ressources
nécessaires pour l'intervention et les conditions météorologiques. L'agent maintenance appelé
demande les ressources dont il a besoin auprès des agents ressources et s'adonne à sa tâche. Une fois
cette tâche terminée il rend les ressources et disparaît.
La e-maintenance et la réalité augmentée
31/65
Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents
3.1.4 Simulation
Nous avons utilisé le logiciel NetLogo pour développer un simulateur basé sur le modèle définit dans
le paragraphe précédent. NetLogo est un langage de programmation des systèmes multi-agents et un
outil de modélisation des phénomènes dynamiques complexes [80].
Figure 22: The wind farm simulator developed with NetLogo
L'objectif final de ce simulateur est de définir la stratégie de maintenance qui permet une production
énergétique optimale au moindre coût possible. Il nous permet de tester plusieurs stratégies de
maintenance et de comparer des indicateurs de performance du parc éolien sur une longue période.
Nous avons la possibilité d'observer plusieurs indicateurs de performances tels que la puissance
électrique produite par le parc, le nombre d'éoliennes en fonctionnement, l'état de santé des
éoliennes, le coût des actions de maintenance, le prix de l'électricité produite, etc.
Dans un premier temps, le critère d'évaluation que nous avons considéré est la production électrique
instantanée du parc. On peut observer aussi la météo, notamment, la vitesse du vent, la hauteur des
vagues et les d'éclairs.
Le pas d'échantillonnage de la simulation est d'une journée, c'est à dire que chaque boucle de
simulation représente une journée. Les valeurs considérées de tous les paramètres dynamiques sont
des moyennes sur une journée.
La Figure 41 représente l'environnement de la simulation. Nous avons un bouton "Setup" qui initialise
le système et le bouton Go pour lancer la simulation. Nous avons la possibilité de définir quelques
paramètres du système tels que le nombre d'éoliennes dans le parc, et les ressources disponibles en
termes d'ingénieurs, techniciens, bateaux, grues, et pièces de rechange.
Chaque éolienne change de couleur selon son mode de fonctionnement: Vert pour le mode normal,
jaune pour le mode dégradé, orange pour le mode critique et rouge pour dire qu'elle est en panne.
Quand une tâche de maintenance est en cours d'exécution, l'éolienne est représentée par une couleur
noire. Nous avons considéré des éoliennes de production nominale de 6MW avec les paramètres de
𝑚
fonctionnement concernant la vitesse du vent suivants: vitesse de coupure de démarrage 𝑉𝑐𝑖𝑛 = 4 𝑠 ;
vitesse de fonctionnement nominal 𝑉𝑟 = 14
𝑚
25
𝑠
𝑚
𝑠
; et une vitesse de coupure de sécurité
𝑉𝑐𝑜𝑢𝑡 =
La Figure 41 montre une simulation du fonctionnement du système sur une période d'une année. On
remarque que l'énergie globale produite par le parc dépend très fortement de la vitesse du vent. Nous
avons utilisé un historique des conditions météorologiques de l'aéroport du Havre situé sur la côte de
La e-maintenance et la réalité augmentée
32/65
Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents
la Manche. Nous avons supposé que la vitesse du vent est semblable à celle prélevée dans le large. Les
hauteurs significatives des vagues suivent une loi de Rayleigh de paramètre 𝜎 variable suivant la saison
[81]. Comme le logiciel Netlogo ne propose pas de fonction de génération de la loi de Rayleigh, nous
avons utilisé la relation suivante pour générer la hauteur des vagues à partir d'une distribution
uniforme:
𝐻𝑠 = 𝜎 × √− log 𝑈
Où :
U : est une variable aléatoire uniforme appartenant à l'intervalle
Pour ressortir l'effet de la stratégie de maintenance sur la production, nous avons effectué des
simulations avec une vitesse de vent constante toute l'année pour la production énergétique. Les
variations météorologiques (vitesse du vent, hauteur des vagues, éclairs, …) sont utilisées uniquement
pour faire le choix d'effectuer ou non la tâche de maintenance et pour la dégradation des éoliennes.
Figure 23: Production totale d'énergie et variation météorologique sur 5 ans
3.1.5 Résultats et discussion
Nous avons effectué trois types de simulations pour pouvoir montrer l'influence de la stratégie de
maintenance sur la production, et comparer les différentes stratégies de maintenance. Celles adoptées
sont :
1.
stratégie de maintenance préventive systémique à des dates pré-planifiées, plus des
interventions avec une maintenance corrective en cas de panne.
2.
maintenance préventive conditionnelle quand les indicateurs de performance de l'éolienne se
dégradent, plus des maintenances correctives en cas de panne.
3.
Stratégie de maintenance hybride (maintenance systémique, maintenance corrective,
maintenance conditionnelle): Dans ce cas l'agent monitoring choisit le type de la maintenance
à effectuer en se basant sur le critère de choix de l'éolienne à maintenir. Si l'éolienne a été
sélectionnée parce qu'elle a un EHF faible, on lance une maintenance conditionnelle, si elle est
sélectionnée suite à une panne, alors on lance une maintenance corrective. Si au contraire,
l'éolienne est sélectionnée parce que sa date de maintenance systémique est arrivée ou
dépassé, alors on choisit une maintenance systémique.
La Figure 23 représente le niveau d'énergie généré par le parc éolien pendant 5 ans. Le parc est
constitué de 80 éoliennes, qui sont maintenues par une équipe de 10 techniciens et 5 ingénieurs. Ils
disposent de 6 bateaux et 6 grues supposés fonctionnels tout le temps, et un approvisionnement sans
rupture de pièces de rechange. La durée des tâches de maintenance dépend de la nature de la panne
et du type de maintenance a effectué. Nous avons supposé que la durée de la maintenance corrective
varie de 1 à 3 jours ouvrés, alors qu’une maintenance préventive prend entre 1 et 2 jours.
La Figure 23 montre que la stratégie de maintenance et les conditions météorologiques influencent
fortement la production énergétique du parc éolien. La comparaison des valeurs moyennes sur 5 ans
montre que la stratégie de maintenance hybride que nous avons proposée donne de meilleurs
La e-maintenance et la réalité augmentée
33/65
Travaux et résultats > Modélisation et simulation basé sur les systèmes Multi-Agents
résultats avec une production moyenne de 90% de la production totale contre 87% pour la
maintenance systémique et 85% pour la maintenance conditionnelle.
La Figure 24 présente la valeur du coût cumulatif des trois stratégies de maintenance durant toute la
période de simulation. Le coût de maintenance est calculé selon le modèle présenté précédemment
dans le paragraphe 3.1.2. Les résultats obtenus montrent l’efficacité de la stratégie de maintenance
hybride en termes de coût et de production énergétique.
Figure 24: Le cout de chaque stratégie
La Tableau 4 compare le nombre de fois où une maintenance a été nécessaire "Maintenances
demandées", et le nombre de fois où elle a été effectuée "Maintenances effectuées". D'une manière
générale, il est toujours possible de faire une maintenance sauf quand il n y'a pas de ressources ou
lorsque les conditions météorologiques ne le permettent pas. La stratégie de maintenance basée sur
la maintenance préventive conditionnelle est celle qui demande le moins de tâche de maintenance
puisque l'on a effectué seulement 915 tâches de maintenance dont 27 maintenances correctives
uniquement, mais elle représente le coût le plus élevé à cause de la perte de production considérable
avec ce type de maintenance. La stratégie de maintenance basée sur la maintenance préventive
systémique présente 1433 actes dont 27 maintenances correctives, avec un coût de maintenance
légèrement inférieur à celui de la CBM. Cela est traduit par le niveau de production meilleur que celui
de la maintenance préventive conditionnelle (2% mieux que la CBM). La stratégie de maintenance
hybride montre des performances intéressantes à étudier, avec un nombre d'interventions supérieur
aux deux autres stratégies avec seulement 14 interventions en maintenance corrective. Cette stratégie
de maintenance est la moins cher, et cela est dû à son bon niveau de production énergique (plus de
90%). Avec cette stratégie la plus grande partie des interventions sont de type maintenance
systémique plus de 60%. Avec la stratégie de maintenance les éoliennes sont en bonne état ce qui
explique le bon rendement des éoliennes et peut être l’allongement des durées de vie.
Tableau 4: comparaison des stratégies de maintenance en termes de coût et nombre de maintenance effectuée
CBM
SM
Hybrid
Number of CBM
Number of SM
Number of CM
888
0
27
0
1336
97
239
1225
14
Total
915
1433
1487
Cost
6626
6250
4947
A travers le simulateur basé sur les systèmes multi-agents nous avons montré l'utilité et l'efficacité du
modèle proposé. La stratégie de maintenance hybride permet d'avoir des performances intéressantes
pour la maintenance des éoliennes offshores qui présentent des contraintes inhabituelles. Cette
stratégie permet de faire un compromis entre la production d'énergie et les coûts de maintenance en
choisissant l'éolienne à maintenir et le type de maintenance à effectuer.
La e-maintenance et la réalité augmentée
34/65
Travaux et résultats > Simulation d’Evènements Discrets
3.1.6 Perspectives
Les résultats ont montré que la stratégie de maintenance hybride assure le meilleur rendement
énergétique du parc et le cout le moins élevé, mais avec un nombre d’intervention très important.
A travers ces résultats, on peut conclure que l'approche multi-agents ainsi que la stratégie de
maintenance hybride donnent des résultats très intéressants.
L'algorithme de décision qui permet de sélectionner l'éolienne à maintenir et le type d'actions de
maintenance à mener est basé sur une simple comparaison de niveau critique des éoliennes. Une
amélioration de cet algorithme va faire l'objet de nos travaux à court terme. Actuellement chaque
éolienne est représentée par un agent indépendant, nous allons proposer de faire un modèle distribué
de l'éolienne où elle constituera un ensemble d'agents (boîte de vitesse, système électrique, pales, …).
Plusieurs autres améliorations peuvent être apportées au modèle et au simulateur pour permettre
d'effectuer la planification et l'optimisation des stratégies de maintenance telles que l'ajout d'autres
types de maintenance (télé maintenance, maintenance proactive), la simulation avec des données
météorologiques réelles et la réduction du pas de simulation à 30 minutes au lieu d'une journée.
3.2 Simulation d’Evènements Discrets
3.2.1 Introduction
Les méthodes de modélisation et de simulation permettent aux parties prenantes d’analyser et
d’évaluer les stratégies de gestion effective des systèmes complexes. Les techniques de simulations
tels que : Monte Carlo, simulation basée sur des agents, chaînes de Markov, réseaux de Pétri, sont les
plus fréquemment utilisées pour l’analyse quantitative des systèmes d’intérêts. L’approche que nous
proposons pour la modélisation de la Maintenance, de la Réparation, et de l’Opération (MRO), dédiée
aux parcs-éoliens off-shores est une Simulation à Evènements Discrets (SED), car les opérations de
maintenance et de réparation peuvent être conceptualisées comme un système de file d’attente et le
modèle DES un système par l’utilisation des serveurs et des file d’attentes.
La maximisation du temps de capacité de l’éolienne via des stratégies MRO intelligentes est une
opération de gestion d’activité primordiale pour les opérateurs du parc-éolien (pour maximiser le
retour sur investissement) et les fabricants d’éoliennes (pour la compréhension des performances
d’une éolienne sous des conditions actuelle données). Les stratégies MRO doivent prendre en
considération le fait que les activités de maintenances dépendent des fenêtres de temps disponibles,
par exemple : une hauteur de vagues admissibles, une vitesse de vent satisfaisante, la visibilité sont
tous des facteurs importants qui peuvent déterminer si une maintenance offshore peut être
entreprise. Le but de notre modèle DES est de permettre, pour l’expérimentation, avec différentes
stratégies MRO qui vont augmenter l’up-time des éoliennes, tout en essayant de réduire les coûts
associés à ce type d’opérations.
3.2.2 Méthodologie de simulation
Les modèles de simulations peuvent être catégorisés en : modèles continus, et modèles discrets, qui
dépendent de la façon dont le comportement du système change dans le temps. Un modèle de
simulation continue assume que l’état du système change en permance. Un modèle de simulation
discret, assume que le système ne change que si un évènement se produit à un instant t. Entre les
différents évènements, l’état du système reste constant. Notre simulation MRO est un exemple de
modélisation et simulation discrètes. Deux approches qui peuvent être utilisées pour le contrôle du
flux de temps dans une simulation discrète sont : l’approche de division de temps (Time-Slicing
Approach), et l’approche du prochain évènement (Next-Event Approach). L’approche de division de
temps déplace le temps en avant dans des intervalles égaux de temps, alors que, l’approche du
prochain évènement déplace le temps d’évènement à évènement [82]. L’approche que l’on a utilisé
pour le développement du MRO est l’approche du prochain évènement. La méthodologie de
simulation qu’on a suivi est donc la Simulation d’Evènements Discrets (SED). Dans l’algorithme SED les
différents éléments de la simulation peuvent être catégorisés comme suit [83]:
La e-maintenance et la réalité augmentée
35/65
Travaux et résultats > Simulation d’Evènements Discrets
1.
2.
3.
4.
5.
6.
7.
8.
9.
Horloge de simulation : Elle garde la trace du temps de simulation courant. L’horloge de
simulation est incrémentée par le logiciel de simulation (aussi appelé exécutive de simulation).
Entités : N’importe qu’elle composante du modèle qui peut être imaginé pour conserver son
identité durant le temps est une entité [84]. Les entités causent des changements dans l’état
de la simulation.
Etats : ils représentent les statuts des entités. Dans le SED l’état reste constant entre les
évènements.
Evènements : ce sont des actions qui vont être réalisées dans une instance de temps. Dans le
SED l’état du système change après l’occurrence d’un évènement (exemple : une éolienne qui
rapporte une erreur, le début ou la fin d’une opération de maintenance). Dans l’approche à
trois phases de simulation (plus de détails dans les sections suivantes) il existe deux types
d’évènements, Bound events, et Conditional events. Les Bound events peuvent être planifiés
en avance, alors que les évènements conditionnels peuvent seulement être planifiés quand
une certaine condition est satisfaite.
Règles d’évènement : Ils informent le logiciel de simulation des conditions qui déclencheront
l’exécution de l’évènement conditionnel, les changements d’état qui vont être réalisés, et les
évènements qui vont être rajoutés à la liste d’évènements (cette liste est détaillée dans les
sections suivantes). Chaque évènement a sa règle d’évènement correspondante.
Liste d’évènement : Elle garde un enregistrement (une copie) des évènements planifiés, ainsi
que le temps où ils ont été exécutés. Ces évènements sont planifiés à la suite d’une occurrence
d’évènements précédents, et basés sur certaine règle d’évènement. L’exécution de la
simulation envoie constamment des requêtes vers cette liste pour avoir des informations sur
les évènements suivants. Après la réalisation d’un évènement, celui-ci est retiré définitivement
de la liste.
Enregistrement de l’état actuel du système : le terme état du système est utilisé pour désigner
l’état des entités qui prennent part à la simulation. Le logiciel SED enregistre l’état actuel du
système après l’exécution d’un évènement.
Générateur de nombre aléatoires : ce sont des programmes qui génèrent des nombres
aléatoires. Le logiciel du SED est capable de générer un très grand nombre de valeurs
aléatoires. Les nombres aléatoires sont utilisés afin d’introduire une variabilité dans le modèle.
Statistiques de sortie : Le but de l’exécution d’une simulation est de rassembler des statistiques
qui vont nous aider dans le processus de prise de décision. La plupart des logiciels de
simulation permettent au modélisateur de choisir les statistiques qui vont être collectées.
Dans le SED, l’exécutant de la simulation dispose du contrôle total de la simulation. Elle exécute
répétitivement des évènements conditionnels et bound, change l’état du système, planifie de
nouveaux évènements, incrémente l’horloge de simulation, et collecte les statistiques. Tous les
traitements (tâches) qui vont être exécutés dans l’exécutive de simulation sont organisé comme suit,
qui est aussi appelé : approche à trois phases. K. D. Tocher (Keith Douglas Tocher) a divisé en 1963
originellement cette approche. Dans une approche à trois phases Figure 8, l’exécutive de simulation
itère continuellement entre les phases A, B, et C. dans la phase A elle envoie des requête pour avoir
les prochains évènements à exécuter de la liste d’évènement, et avance l’horloge de simulation. Dans
la phase B, tous les Bound Events sont exécutés, l’état actuel du système est enregistré, les nouveaux
évènements (s’ils existent) sont planifiés et les statistiques mis à jour. Dans la phase C, les Conditional
Events sont exécutés, l’état actuel du système enregistré, et les nouveaux évènements (s’ils existent)
sont planifiés, et les statistiques misent à jour.
La e-maintenance et la réalité augmentée
36/65
Travaux et résultats > Simulation d’Evènements Discrets
Figure 25 Exécution de simulation à trois phases (adapté de [63])
Dans un contexte de pratique de la simulation dans l’industrie, bien que les langages de
programmation puissent être utilisés pour construire des simulations dans certains cas, les modèles
sont généralement développés en utilisant des logiciels commerciaux de simulation disponible [85].
Les Systèmes de modélisation Interactive et Visuelle (SMIV) se réfèrent habituellement aux logiciels
SED qui permettent à l’utilisateur de créer des modèles dans un environnement graphique à travers
une sélection interactive d’objets de simulation prédéfinis (points d’entrée, files d’attentes, stations
de travail, ressources, etc.) et les relient ensemble afin de représenter les interactions logiques sousjacentes entres les entités qu’elles représentent [86]. Des exemples de SMIV incluent des logiciels SED
commerciaux disponibles comme Witness (Laner group), Simul 8 (Simul8 corp.), AnyLogic (XJ
technologies) and Arena (Rockwell automation). Actuellement, les SMIV sont plus communément
référés comme commerciaux, Off-The-Shelf (COTS) Simulation Packages (CSPs). Dans le but de
développer notre propre simulation MRO nous avons utilisé CSP Simul8.
La e-maintenance et la réalité augmentée
37/65
Travaux et résultats > Simulation d’Evènements Discrets
3.2.3 Description du modèle
Le modèle simule les processus opérationnels, à partir des fautes spécifiques qui viennent d’être
rapportés par les éoliennes (incluant les évènements de la maintenance préventive), et jusqu’à ce que
les fautes ont été rectifiées et les ressources libérées (restituées) pour les opérations de maintenance
ultérieures. Les ressources en question sont des parties de la maintenance, la disponibilité des
techniciens/ingénieurs qui vont effectuer nos activités MRO, la disponibilité de bateau à la bonne taille
(par exemple : un bateau plus large est requis si la maintenance requiert le transport de parties de
rechange très grande) et le bon assemblement de ces ressources pour une tâche spécifique du MRO.
Deux parc-éoliens offshores sont modélisés, avec 10 et 20 éoliennes respectivement, et les ressources
de maintenance sont partagées entre les deux parcs éoliens. Nous avons aussi modélisé les fenêtres
de météo (à travers l’utilisation des distributions ; incorporer les prévisions météorologiques d’un
bureau météorologique est notre perspective) qui peuvent assurer que les ressources ne sont
envoyées pour les opérations de maintenance que si la météo offre une opportunité de succès complet
des activités dans un environnement qui est sûr pour les opérateurs de maintenance. La Figure 27
présente la logique du SED en utilisant une charte de flux. La Figure 26 présente une capture d’écran
du modèle.
Figure 26 Capture d’écran du modèle Simul8
La e-maintenance et la réalité augmentée
38/65
Travaux et résultats > Simulation d’Evènements Discrets
Start
Stop
Faults reported by
individual turbines
No
Wait for parts
Work order
generated / Check
inventory for parts
Yes
Any further
work orders?
Are
Are parts
parts
available?
available?
No
Yes
Order
parts?
Indent
parts
Are
Are engineers
engineers
available?
available?
No
Wait for resources
(engineers, boats)
Yes
Is
Is the
the right
right size
size of
of
boat
boat available?
available?
No
Repair activity
at Turbine
Yes
Check weather
window
Resources + +
(resources
released)
OK
Resources - (resources in
use)
Weather forecast
Figure 27 Le flux logique du modèle SED Simul8 de la MRO
3.2.4 Application pratique du modèle
Notre modèle à Evénement Discret (SED) peut être utilisé par différents opérateurs de MRO
d’éoliennes offshores avec différentes stratégies. Il est possible de modifier notre simulation de base
représentant 2 fermes d’éoliennes et de modéliser des scénarios alternatifs en changeant le nombre
de turbines, la quantité de ressources en fonction de celles prédéfinies (grand bateau, bateau moyen,
petit bateau et les ingénieurs/techniciens à disposition), le mélange de ressources etc… Le nombre
d’erreur remonté par les turbines peut être aussi changé (actuellement le modèle prédéfini 3 types
d’erreur appelées : la boite de vitesse, les capteurs et les pales, et une activité de maintenance
planifiée). Ils sont chacun implémentés avec des files d’attentes. Il est possible d’augmenter le type de
faute en modélisant des files d’attente supplémentaires et en utilisant la distribution appropriée pour
les erreurs de la turbine. Au fur et à mesure que la simulation avance, des erreurs seront générées et
placées dans une file d’attente adéquate en fonction des distributions choisies. Il est évident que les
éoliennes fabriquées par différents constructeurs auront des taux de pannes différents, il sera donc
important pour les opérateurs de maintenance d’obtenir les données, soit par le constructeur (même
si nous avons constaté que les données étaient difficiles à obtenir), soit en se basant sur leur propre
expérience. De plus, notre modèle de SED peut être utilisé pour modéliser l’inventaire des pièces de
rechange. Il existe différents éléments prédéfinis : six pièces différentes avec six points d’entrée. Les
points d’entrée, qui sont des composants Simul8, modélisent la reconstitution des stocks. De plus, cela
pourra être amélioré dans un prochain modèle en changeant le nombre de pièces de rechange à
modéliser.
Chaque erreur est associé à une (ou des) pièce(s) qui doivent être présentes dans l’inventaire pour
servir la demande. Par exemple, si un problème avec la boite de vitesse est remonté, alors une
combinaison de pièces sera chargée sur le bateau afin de réparer celle-ci. En outre, l’activité de MRO
ne pourra se poursuivre uniquement si cette combinaison de pièces est disponible. Pour l’usage
ultérieur de ce modèle, il est nécessaire que les utilisateurs identifient les pièces qui sont associées à
chaque erreur, et si celles-ci doivent être chargées sur le bateau (ou peut être qu’un inventaire local,
contenant les pièces essentiels, existe sur chaque turbine et qu’elles ont besoin d’être remplacées de
La e-maintenance et la réalité augmentée
39/65
Travaux et résultats > Simulation d’Evènements Discrets
temps en temps). Par ailleurs, le taux de reconstitution du stock de pièces sera différent en fonction
de la chaine d’approvisionnement. Ces stratégies ont tendance à être différentes en fonction des
opérateurs, et un modèle ultérieur devra implémenter la politique de maintenance de l’opérateur en
question.
Ensuite, il est non seulement possible de configurer le modèle en fonction des pièces nécessaires pour
chaque erreur, mais aussi en fonction du type de ressources disponible. Dans ce modèle, les ressources
sont les bateaux et les ingénieurs. Certaines erreurs nécessitent plus d’un ingénieur et peut être un
grand bateau (pour emmener des pièces ou un équipement spécial, par exemple une grue pour
remplacer une pale), d’autres peuvent être des erreurs relativement mineures qui peuvent être
corrigées par un seul ingénieur. De nouveau, je précise que les ressources peuvent être modifiées en
utilisant les fonctions internes de Simul8 (la plupart sont éditables via une interface graphique).
Il est aussi possible d’ajouter de nouvelles ressources, comme le bateau pour l’équipage, le rôle de
technicien (pour le distinguer de l’ingénieur), etc… Ces modifications seront dirigées par les ressources
existantes et le workflow à modéliser, évidemment en fonction des contraintes de l’opérateur.
Le modèle de SED inclut deux fenêtres de conditions météorologiques (une pour chaque ferme
modélisée). Comme précisé précédemment, les conditions météorologiques détermine si l’opération
de maintenance peut être effectuée de manière sécurisée. Si les conditions sont difficiles (manque de
visibilité, fortes houles, température basse, fort vent…) alors les ressources ne sont pas envoyées. Nos
fenêtre de conditions météorologiques sont modélisées comme des serveurs (sur la théorie des files
d’attente) et sont implémentées en utilisant des distributions simples. Cependant, il est possible
d’utiliser ce concept de modèle en utilisant de vraies données. Cela peut être fait avec des distributions
basées sur des données historiques dans les zones géographiques où sont situées les fermes
d’éoliennes offshores ; ou cela peut être un fichier texte formaté contenant les prévisions
météorologiques des 7 prochains jours. Cette dernière méthode fournit une opportunité de recherche
inter-disciplines : les données simulées de conditions météorologiques (en utilisant des modèles)
peuvent servir comme données d’entrée pour le simulateur de MRO (qui utilise SED).
Dans ce chapitre nous avons décrit comment notre modèle de SED pouvait être modifié ou étendu et
ainsi amélioré pour faire des applications en conditions réelles pour les activités de MRO dans les
éoliennes offshores. Le modèle a été développé en utilisant le standard de simulation par composant
fournit par Simul8 et peu de code a été utilisé. Cela permettra à un analyste ayant des connaissances
dans les méthodes de Système à Evénement Discret (SED) et qui maitrise Simul8 de changer
relativement facilement le modèle.
3.2.5 Limites et Perspectives
La limite de notre modèle est qu’il a été développé sans l’intervention des parties prenantes. Notre
effort de modélisation aurait reçu un essor formidable si des données et flux de travail avaient été mis
à disponibilité par les fabricants d’équipements, compagnies d’énergie, opérateurs de parc-éoliens,
entre autres. Cependant, et malgré nos meilleures efforts, nous étions dans l’incapacité de convaincre
les parties prenantes pour s’engager effectivement dans notre projet de recherche. Avec la
progression du projet nous sommes devenus plus exigeants vis-à-vis des données attendues des
compagnies (ex : planification de maintenances, flux de travail des opérations de maintenances, taux
d’échecs) ont été traités comme des données confidentielles et étaient largement significatifs dans
une utilisation domestique. Notre simulation n’est donc pas basée sur une étude empirique. Prenant
cela en considération, notre modèle peut être vue comme une preuve de concept de l’utilisation des
méthodologies de SED pour les MRO dans les parc-éoliens off-shores.
Pour nos travaux futurs, nous considérons que l’implication des parties prenantes est importante. Cela
va nous permettre la réalisation de certaines étapes de l’étude de simulation bien définis [87],
notamment, la définition du système (qui détermine le cadre du système qui va être étudié),
formulation des modèles conceptuels (qui définissent les interactions entre les différents composants
du systèmes sous des examens minutieux), préparation des données d’entrée (l’identification des
données qui vont être requises pour la simulation et la collection), vérification et validation
La e-maintenance et la réalité augmentée
40/65
Travaux et résultats > Serious game (CESI version)
(confirmation que le modèle opère bien et les données produites par lui sont représentatives du
système réel), conception expérimentale (finaliser les stratégies MRO qui vont être simulé et les
expérimentations à mener), et finalement analyser et interpréter les données produites par la
simulation afin d’être mieux informé et de prendre les bonnes décisions.
3.3 Serious game (CESI version)
Comme nous l’avons déjà présenté dans la section 2.2, les erreurs humaines lors de l’installation et de
la maintenance représentent l’une des plus importantes causes de défaillance des éoliennes. Ces
erreurs sont dues principalement au manque d’expérience et de formation. Afin de réduire les coûts
de la maintenance il faut absolument trouver des moyens efficaces pour former les équipes de
maintenance à toutes les éventualités.
Afin d’améliorer l’efficacité de leurs formations, les centre de formation cherchent toujours à trouver
des moyens de formation innovants et efficaces. Les jeux sérieux sont considérés comme l’une des
plus importantes méthodes d’apprentissage innovantes pour tous les niveaux de formation [88].
Plusieurs définitions des jeux sérieux peuvent être trouvées dans la littérature. La plupart de ces
définitions considère les jeux sérieux comme un logiciel, mais plusieurs jeux sérieux ont été développés
sans utiliser des moyens informatiques. Une définition intéressante donnée par [89] est : « un jeu
sérieux ou un jeu appliqué est un jeu qui peut être informatique conçu pour un objectif principale autre
que le divertissement ». L’adjective «sérieux » est souvent utilisé pour faire référence à des produits
utilisés par des industries tels que la défense, l’exploration scientifique, la santé, la gestion des
urgences, la planification des agglomérations et l’ingénierie. Ils permettent aux étudiants de bien
assimiler le cours en les confrontant à des situations réelles. Le marché des jeux sérieux connait une
expansion très importante depuis plusieurs années. Apres avoir été utilisé largement dans le domaine
militaire et médical, ils ont commencé à être utilisés dans les cours d’ingénierie [90] [91].
Dans le cadre du projet Mer Innovate nous avons développé deux jeux sérieux pour aider les étudiants
à comprendre le fonctionnement d’un parc éolien offshore, à planifier la maintenance des éoliennes
offshore et à dimensionner les équipes et le matériel de maintenance. Le jeu permet aux étudiants de
voir clairement l’effet des conditions météorologiques et la taille des équipes de maintenance sur la
performance du parc en termes de coût et de production énergétique.
3.3.1 Jeu sérieux basé sur les systèmes multi-agents
En se basant sur le modèle du parc éolien offshore développé par le CESI, nous avons proposé un jeu
sérieux afin d’apprendre aux futures ingénieurs de maintenance comment planifier la maintenance
d’un ou plusieurs parcs éoliens offshore. Le jeu peut être exécuté sur un site web et il est libre
d’utilisation.
Le scénario de ce jeu est présenté sur la Figure 28 , il est divisé en quatre niveaux :
1.
Niveau 1 : dans ce premier niveau, la tâche du joueur consiste à dimensionner son parc éolien
afin que celui-ci puisse fournir assez d’électricité à une ville en dépensant l’argent qui lui est
alloué. En effet, la vitesse du vent est une donnée importante à prendre en compte, les
éoliennes ne tournent pas à vitesse nominale et donc la production d’énergie n’est pas à 100%
tout le temps.
2.
Niveau 2 : Dans ce niveau, la dégradation des éoliennes et la création des équipes de
maintenance entre en compte. Le joueur doit ici constituer suffisamment d’équipes de
maintenance afin de garder son parc éolien en bonne santé sans non plus dépenser trop
d’argent dans l’utilisation de ses ressources.
3.
Niveau 3 : Dans le troisième niveau entre en compte l’établissement d’un plan de
maintenance. En effet le joueur calibre les types de maintenance préventives notamment, le
niveau de EHF au quel on déclenche une maintenance conditionnelle ou les périodes des
maintenances systémiques.
La e-maintenance et la réalité augmentée
41/65
Travaux et résultats > Serious game (CESI version)
4.
Niveau 4 : dans ce niveau on reprend la même chose pour une autre ville, mais cette fois on
donne dès le début la possibilité au joueur de jouer sur tous les paramètres afin de prendre en
compte les contraintes de la maintenance dès la conception du parc.
Dimensionnement du
parc
1 an de production
Consitution des équipes
de maintenance
2 ans de production
Etablissement de la
stratégie de maintenance
3 ans de production
Fin du jeu
Figure 28 : scénario du jeu
Pour passer un niveau le joueur doit remplir plusieurs objectifs basés sur la production d’énergie, l’état
de santé du parc et l’argent possédé. La Figure 28 représente les différents niveaux ainsi que les
conditions de passage d’un niveau à un autre. Le jeu a été implémenté sur en utilisant Unity3D, ou
nous avons déployé le modèle basé sur les systèmes multi-agents et les différents scénarios. La version
finale du jeu est représentée sur la Figure 29.
Figure 29 : Capture d’écran du jeu
3.3.2 Perspectives
Ce jeu sérieux est toujours en développement pour rajouter d’autres fonctionnalité et il est utilisable
gratuitement sur le site du projet européen Mer Innovate sous le lien
http://www.merinnovateproject.eu/le-projet/serious-game/. Les utilisateurs peuvent jouer, donner
leurs avis et proposer des améliorations que nous allons prendre en considération. Nous avons eu
La e-maintenance et la réalité augmentée
42/65
Travaux et résultats > Serious game (Exeter version)
plusieurs retours positifs sur le jeu. Nous sommes en train de faire un questionnaire pour mesurer
l’efficacité du jeu et le niveau d’apprentissage des étudiants.
3.4 Serious game (Exeter version)
3.4.1 Introduction
Les jeux sérieux (serious game) sont devenus de plus en plus populaire comme outil d’enseignement
dans les écoles, comme outil d’entrainement pour les professionnels ou comme moyen d’entrainer
chacun de nous. Un nombre d’études confirment que les jeux de simulation aident les étudiants à
améliorer leur conscience des problèmes liés au monde réel et leur compréhension des sujets
enseignés [92], [93], [94]. Ce chapitre se concentre sur les activités de Maintenance, Réparation et
Opérations (MRO). Comme précisé dans le paragraphe « 1 Contexte », la maintenance est essentielle,
mais consommatrice de temps et coûteuse à mettre en œuvre, particulièrement dans le contexte des
éoliennes offshores puisque sujet à des conditions météorologiques difficiles sur de longues périodes.
Optimiser l’utilisation des ressources - la fréquence et le moment (maintenance préventive ou
curative) – peut avoir un impact significatif sur le temps d’arrêt de chaque turbine et donc sur la
performance financière d’une ferme d’éoliennes. C’est pourquoi, il est important que les étudiants
ingénieurs complètent leur connaissance théorique de la maintenance avec une compréhension des
intérêts économiques, particulièrement pour la maintenance opérationnelle. L’utilisation de jeux
sérieux ou d’autres outils d’edutainment (educational entertainment) est donc un pas dans cette
direction et pourrait être utilisé comme un outil d’éducation et de formation pour les parties prenantes
impliquées dans la maintenance d’éoliennes offshores.
3.4.2 L’edutainment pour l’apprentissage
Plusieurs définitions et formes de jeux existent. La plupart d’entre elles se concentrent sur des thèmes
similaires : une abstraction simple de la situation en relation avec le monde économique, un outil
d’aide à la décision pour le groupe ou l’individu, ou en tant que complément à l’enseignement
classique. C’est la capacité des jeux et des simulations, permettant aux étudiants ou employés
d’expérimenter les difficultés réelles dans un environnement sans risque, qui rend cet outil aussi
attractif. En effet, il est souvent plus facile de transmettre et d’enseigner le management opérationnel
à travers des scénarios complexes qu’à travers une théorie figée [95]. Les jeux sérieux sont des jeuxvidéos ou des simulations, qui couvrent toute l’industrie non liée aux jeux. Ils sont donc utilisés pour
des applications qui ne sont pas en relation avec du pur divertissement ou du jeu traditionnel [96],
[97].
Les jeux-sérieux incluent tous les aspects d’éducation (enseignement, formation et information) pour
toutes les classes d’âges [97]. Ils peuvent s’appliquer à un large spectre de domaines, par exemple la
politique publique, la défense, la gestion d'entreprise, la santé, la formation et l'éducation [91]. Leur
avantage évident réside dans le fait que, (a) ils permettent aux apprenants d'expérimenter des
situations qui sont impossibles dans le monde réel, pour des raisons de sécurité, de coût, de temps,
etc. [98], [99], (b) ils impliquent le participant dans la démarche pédagogique et peuvent avoir un
impact positif sur le développement d'un certain nombre de compétences, tels que : les compétences
analytiques et spatiales, les compétences stratégiques et de perspicacité, l'apprentissage et la
rétention des savoirs, les aptitudes psychomotrices, l'attention [100] et (c) ils permettent d’améliorer
l’auto-évaluation, l’analyse et la résolution des problèmes, la prise de décision, la rétention sur le court,
moyen et long terme et la capacité à collaborer, négocier et prendre des décisions [100].
3.4.2.1 Revue de littérature
Le but de cette revue était d’identifier les jeux pertinents pour le mangement opérationnel (MO) en
relation avec l’ingénierie ; ce fût accompli en effectuant une recherche sur la littérature scientifique
autant que sur les jeux en ligne disponibles sur le net. Cependant, une première recherche à ce sujet
a montré que l’accès en ligne à des jeux de ce type (MO) n’est pas aussi aisé que pour d’autres
domaines tels que le développement durable [94]. C’est pourquoi nous avons restreint notre méthode
La e-maintenance et la réalité augmentée
43/65
Travaux et résultats > Serious game (Exeter version)
de recherche et nous avons d’abord identifié la littérature scientifique pertinente. La méthode sousjacente pour la sélection des articles, qui soit présentait une revue de littérature dans le domaine ou
décrivait/testait l’utilisation d’un jeu comprenait deux étapes : (a) Identification par mots-clés : en
identifiant un ensemble de mots-clés permettant de filtrer les articles pertinents (jeux), et (b) La
sélection : en sélectionnant le titre avec les mots-clés, nous lisions le résumé pour identifier si l’article
était intéressant pour l’étude. Les étapes de cette méthodologie sont décrites dans les chapitres
suivants.
Les articles académiques sélectionnés furent identifiés en utilisant la base de données des journaux du
Web of Science (WOS) et du SciVerse Scopus, ainsi que Google Scholar et la technique de la boule de
neige. Pour identifier les articles qui formeraient notre ensemble initial, nous avons utilisés ces
critères : Si le titre, le résumé ou les mots-clés contenaient le mot « game* AND engineering » ou
« virtual reality AND repair », l’article était retenu. Diverses autres combinaisons de mots-clés ont été
testées, mais ils n’ont pas abouti à un résultat pertinent. Bien que nous ayons utilisé deux bases de
données de journaux, nous avons identifié uniquement 16 articles qui parlaient plus ou moins de jeux
dans l’ingénierie, en prenant en compte divers formes de jeux (jeux sérieux, simulation,
environnement virtuel, réalité augmentée, etc.). Trois articles supplémentaires ont été retrouvés en
utilisant Google Scholar (Tableau 5).
Auteurs (année)
Titre
Source
Van Bussel & Schoentag
(1998) [101]
Operation
and
Maintenance
Aspects
of
Large
Offshore
Windfarms
Delft
University
Technology
Badler et al. (2002)
[102]
Susi T. et al. (2007) [89]
Virtual Humans for Validating
Maintenance Procedures
Serious Games – An Overview
Communications of the ACM
2002
2007
Liang (2010a) [103]
Design and Implement a Virtual
Learning
Architecture
for
Troubleshooting Practice
Scaffolding for Automotive Air
Conditioning Learning Environment
Technical Report - University
of Skoevde
Computer Applications in
Engineering Education
Computer Applications in
Engineering Education
2010
Simulation Games in Engineering
Education:
A
State-of-the-Art
Review
Exploring
the
Benefits
of
Augmented Reality Documentation
for Maintenance and Repair
Computer Applications in
Engineering Education
2011
IEEE
Transactions
on
Visualization and Computer
Graphics
2011
Designing a BIM-based serious
game for fire safety evacuation
simulations
Advanced
Informatics
Engineering
2011
Kuk et al. (2012) [107]
Using a game-based learning model
as a new teaching strategy for
computer engineering
Turkish Journal of Electrical
Engineering & Computer
Sciences
2012
Li et al. (2012) [108]
Multiuser virtual safety training
system
for
tower
crane
dismantlement
Journal of Computing in Civil
Engineering
2012
Liang (2010b) [104]
Deshpande & Huang
(2011) [105]
Henderson &
(2011) [74]
Feiner
Rueppel
&
(2011) [106]
Schatz
La e-maintenance et la réalité augmentée
of
Année de
Publication
1998
2010
44/65
Travaux et résultats > Serious game (Exeter version)
Vosinakis & Koutsabasis
(2012) [109]
Problem-Based Learning for Design
and Engineering Activities in Virtual
Worlds
Geng et al. (2013) [110]
A
modelling
approach
for
maintenance safety evaluation in a
virtual maintenance environment
An
authorable
context-aware
augmented reality system to assist
the maintenance technicians
Serious Sustainability Challenge
Game to Promote Teaching and
Learning of Building Sustainability
Computer-Aided Design
2013
The International Journal of
Advanced
Manufacturing
Technology
Journal of Computing in Civil
Engineering
2013
Qiu et al. (2014) [113]
Virtual human hybrid control in
virtual assembly and maintenance
simulation
International Journal
Production Research
of
2014
Aziz et al. (2014) [114]
A Multi-User Virtual Laboratory
Environment for Gear Train Design
Computer Applications in
Engineering Education
2014
Kerga et al. (2014) [115]
A serious game for introducing setbased concurrent engineering in
industrial practices
Concurrent
Engineering:
Research and Applications
2014
Venter &
(2014) [116]
Interactive learning through gaming
simulation in an integrated land
use-transportation planning course
Journal of Professional
Issues
in
Engineering
Education and Practice
2014
Zhu et al. (2013) [111]
Dib & Adamo-Villani
(2014) [112]
Coetzee
2012
MIT Press Journals
2014
Tableau 5: Articles sur la maintenance identifiés dans l’enquête.
Cette revue initiale nous a montré que la majorité des jeux développés, en incluant la réalité
augmentée et les environnements virtuels, sont conçus pour entrainer les ingénieurs et les
mécaniciens à faire leur travail [102], [103], [104], [106], [25], [114], [110], [113], [115], ou pour les
assister tout en effectuant une tâche physique [74], [111]. Les jeux sérieux qui abordent les problèmes
d’ingénierie ou de management opérationnel n’ont pas été trouvés en utilisant les mots-clés initiaux.
Toutefois, comme le but du type de jeu sérieux est ici de faire un usage efficace des ressources plutôt
que d’agir comme un outil qui assiste et informe sur les opérations de maintenance, un nombre
d’articles supplémentaires ont été identifiés. Cette nouvelle stratégie est expliquée ci-dessous.
En conséquence de cette relative pénurie de la littérature et un manque complet d’articles traitant de
l’ingénierie en relation avec la maintenance opérationnelle, nous avons décidé de modifier et
d'étendre la recherche de cette étude pour inclure des jeux d'entreprise dans tous les domaines
d'application. Nous avons effectué la recherche suivante avec un axe légèrement différent, utilisant
ces mots-clés : « business game » et « business game AND operations management ». Une nouvelle
fois, il était impossible de trouver un nombre significatif d’articles en utilisant simplement les bases de
données des journaux. Exclure le mot-clé « game theory » a permis de filtrer la majorité des articles.
Nous avons pu retrouver 6 articles dans les bases de données des journaux, 4 articles en utilisant
Google Scholar et 8 articles avec la technique de la boule de neige (en prenant note des références
dans les articles pertinents voir tableau 5). Pour ces jeux il était assez facile de retrouver la description
et l’explication de comment il fonctionnait, ce qui était nécessaire et comment il était conçu et pour
démontrer quoi. Cependant, il était de nouveau difficile d’accéder au jeu réel et d’y jouer.
La e-maintenance et la réalité augmentée
45/65
Travaux et résultats > Serious game (Exeter version)
Année
Nom du jeu de maintenance opérationnelle
1986
RED BEAD EXPERIMENT [117]
1994
BEER GAME [117]
1995
CRAC BUSINESS GAME [118]
1997
LEGO OF MY SIMPLEX [117]
1999
2000
BALANCING PLANES [117]; THE DISTRIBUTION GAME [117]; THE MANUFACTURING
GAME [117]
DICE GAME [119]
2002
2006
LEAN LEAP LOGISTICS GAME [120]; GOLDRATT’S GAME [121]
BEER DISTRIBUTION GAME [122]
2007
CUPPA MANUFACTURING GAME [117]
2010
HECOpSIM [123]; LOGISTIC GAME [124]
2014
BLOOD SUPPLY CHAIN GAME [125]
Tableau 6: Les jeux de maintenance opérationnelle identifié pour l’enquête.
Comme expliqué dans [95], une dominance du secteur industriel persiste comme domaine
d’application du jeu sérieux (Tableau 6), soulevant des questions similaires, quant à savoir si les
développements et les problématiques de jeux sérieux dans le management opérationnel ont été des
problématiques étudiées. Par exemple, [95] ont exprimé la crainte que le contenu des jeux en relation
avec la maintenance opérationnelle n’a pas été développé autant que le sujet enseigné. Il y a, tout de
même, une accentuation accrue sur la maintenance opérationnelle dans les scénarios, cependant
l’intérêt reste focalisé sur le planning et le contrôle de la fabrication. Dans cette étude, il apparait de
toute évidence que les jeux non pas progressé dans la formation des ingénieurs, tout du moins du
point de vu de la maintenance opérationnelle. En effet, la majorité des jeux sont majoritairement
conçus et développés pour former et aider le personnel à la maintenance et la réparation et non pas
pour optimiser l’utilisation des ressources dans ce contexte.
Catégorie de l’application
Fabrication
Logistique
Soins de santé
#Nombre de
jeux
7
2
1
Nom du jeu
BEER GAME; CRAC BUSINESS GAME; HECOpSIM; DICE
GAME;
CUPPA
MANUFACTURING
GAME;
GOLDRATT’S GAME; BEER DISTRIBUTION GAME
LEAN LEAP LOGISTICS GAME; LOGISTIC GAME
BLOOD SUPPLY CHAIN GAME
Table 7: Trouver des domaines d’application.
En plus de la catégorisation ci-dessus, les mots-clés utilisés ont aussi fait ressortir un nombre d’articles
discutant de l’apprentissage et l’éducation basés sur le jeu [95], [126], [127], [128], certains se
concentrant sur la pertinence et les effets dans différents domaines [129], [130], [131], [132], [133].
3.4.3 Le jeu pour la maintenance des éoliennes offshores
Les objectifs pédagogiques du jeu de maintenance, appelé MRO comme Maintenance, Réparation et
opérations, sont les suivants :
 Améliorer la compréhension des opérations de maintenance des fermes d’éoliennes offshores
pour les étudiants.
 Mettre en évidence auprès des étudiants variables tels que les défauts des turbines, la
disponibilité des ressources, les conditions météorologiques, etc. Et comment elles affectent
les opérations de maintenance.
La e-maintenance et la réalité augmentée
46/65
Travaux et résultats > Serious game (Exeter version)

Entrainer les étudiants à prendre des décisions sous pression et dans des situations complexes
dans lesquels un résultat découle de l’interaction de multiples facteurs.
 Fournir aux étudiants un environnement de jeu sur ordinateur pour jouer différentes
stratégies et de réfléchir sur les résultats de celles-ci.
 Permettre aux étudiants de comparer différentes stratégies.
Le jeu MRO est un jeu pour un joueur dans lequel le joueur imite le comportement d’un seul décideur,
à savoir, le gestionnaire de la ferme responsable de l’attribution des ressources au jour le jour pour
l’entretien des éoliennes offshores. Le jeu permet au joueur d’apprendre des tâches complexes de
planification. L’objectif est de minimiser les ressources inutilisées et de prévenir la perte de revenue
en cas de maintenance inadéquate sur la ferme d’éoliennes. Le jeu est développé en Excel en utilisant
le langage VBA.
Le jeu modélise 2 fermes d’éoliennes, windfarmA (près des côtes) et windfarmB (loin des côtes)
comprenant respectivement 60 et 100 turbines. Par défaut il y a 4 ressources pour maintenir les parcs
éoliens. Elles sont partagées entre les 2 parcs. Nous supposons que dans le jeu, l’installation de
maintenance est opérationnel 365 jours par an. Dans une prochaine version il sera possible de changer
le nombre de turbines dans chaque ferme et le nombre de ressources disponibles pour les activités de
maintenance. La simulation est basé sur le temps et progresse jour par jour. Le jeu est joué pendant
15 jours.
Pour réduire la complexité, les ressources n’ont pas été catégorisées en sous-types (comme le bateau
ou les ingénieurs) et nous supposons que pour chaque activité de maintenance il faut une ressource.
Il est associé un coût pour chaque ressource :
 Une ressource immobilisée (non utilisé pour la maintenance) coûte 100 unités par ressource
par jour.
 Une baisse de revenu intervient pour chaque turbine en faute (i.e. qui nécessite une
maintenance). La baisse est de 500 unités par jour et par turbine pour la ferme proche
(windfarmA).
 De même pour la ferme éloignée (windfarmB). La baisse est de 800 unités par turbine par jour
car la ferme éloigné produit plus d’électricité. Il est à noter que nous faisons une simplification
car nous ne considérons pas d’autres facteurs, comme la vitesse du vent.
 Une ressource qui est envoyée dans la ferme proche (windfarmA) coûte 250 unités par
ressource par jour.
 Une ressource qui est envoyée dans la ferme proche (windfarmA) a besoin d’une journée pour
terminer sa tâche de maintenance.
 Une ressource qui est envoyée dans la ferme éloignée (windfarmB) coûte 600 unités par
ressource par jour.
 Une ressource qui est envoyée dans la ferme éloignée (windfarmB) a besoin de deux journées
pour terminer sa tâche de maintenance (pour simuler le temps de déplacement plus long).
Le jeu permet de jouer de manière déterministe ou aléatoire (stochastique) (Figure 30). En mode
déterministe, aussi appelé « Standard Play », la demande hebdomadaire pour les ressources ne varie
pas – la demande hebdomadaire de ressources de maintenance pour la windfarmA et la windfarmB
sont respectivement de 4 et 5 unités. Pour la version aléatoire, appelé « Advance Play », la demande
hebdomadaire varie. Pour la version déterministe, le nombre de ressources demandées pour chaque
jour de la semaine est également fixé et il n’y a pas de variation d’une semaine à l’autre. Par
conséquent, il est codé en dur dans le modèle que la windfarmA demandera une ressource chaque
lundi, mercredi jeudi et vendredi ; que la windfarmB demandera deux ressources le mardi et jeudi et
une ressource le dimanche. Pour la version aléatoire du jeu les demandes de ressources varient
naturellement.
La e-maintenance et la réalité augmentée
47/65
Travaux et résultats > Serious game (Exeter version)
Figure 30: Le joueur peut jouer soit de manière déterministe (Standard Play), soit de manière aléatoire (Advance Play).
Il y a trois politiques qui peuvent être sélectionnées (Figure 31). Si la politique 1 est choisie « Assign
resources on demand », alors le besoin hebdomadaire ne figure pas dans le panneau « MRO Facility –
Service Profile » (Figure 32-à gauche), cela pour les deux modes de jeu, déterministe ou aléatoire. Si la
politique 2 est sélectionnée « Assign resources collectively » alors le panneau besoin hebdomadaire
est visible (Figure 32-à droite) at cela permet au joueur de faire un planning prévisionnel. La politique
3 permet d’assigner les ressources collectivement et de prendre en compte les conditions
météorologiques. Cette fonctionnalité sera mise à jour plus tard.
Figure 31: Les joueurs peuvent choisir 3 modes de jeu différents.
La e-maintenance et la réalité augmentée
48/65
Travaux et résultats > Serious game (Exeter version)
Figure 32: L’information présentée dans le panneau résumé diffère en fonction de la politique choisie ; la demande de
ressource est cachée pour la politique 1 (à gauche) ; et montrée pour la politique 2 (à droite).
Maintenant que nous avons expliqué les options, nous allons présenter le jeu. Comme expliqué plus
haut, le jeu se déroule sur 15 jours et avance par pas de 24 heures. En d’autres termes et contrairement
au logiciel Simul8 qui fait avancer la simulation de minute en minute, le jeu avance du lundi au mardi,
puis du mardi au mercredi et ainsi de suite. L’écran de jeu (Figure 33) montre le jour de la semaine
sous le logo Mer Innovate.
Figure 33: L’écran de jeu.
Pour chaque jour de simulation, basé sur la politique choisie, la demande en ressource est présentée
pour les 2 fermes windfarmA et windfarmB. Cela peut être soit une demande séquentielle (windfarmA
suivie de windfarmB pour la politique 1) ou une demande collective pour la politique 2. L’information
est affichée dans deux panneaux « windfarmA (nearshore) » et « windfarmB (offshore) » avec de
nombreuses autres informations telles que : le nombre de turbine en cours de maintenance, les
turbines qui nécessitent une attention particulière (les demandes précédentes n’ayant pas été
satisfaites), les nouvelles demandes de ressources (basées sur la demande hebdomadaire), et le
nombre total de ressources demandées (Figure 34). En fonction des ressources disponibles (voir le
panneau « MRO Facility » ; Figure 33) et d’autres futurs considérations sur les tâches de maintenance,
le joueur attribue ses ressources pour les deux fermes A et B. Les valeurs sont saisies dans le champ
La e-maintenance et la réalité augmentée
49/65
Travaux et résultats > Serious game (Exeter version)
sur fond vert (Figure 34). Le jeu progresse donc du jour 1 au jour 15, le joueur prenant la décision sur
les ressources à allouer chaque jour.
Figure 34: Les ressources demandées et allouées en fonction de la disponibilité et d’autres considérations (écran de jeu).
Au fur et à mesure que le jeu progresse, des graphiques sont générés, permettant au joueur de
contrôler l’utilisation des ressources (Figure 35 ; en haut à gauche) et des ressources allouées
comparées à celles demandées (Figure 35 ; en haut à droite). Un des objectifs du jeu est de maximiser
l’utilisation des ressources de maintenance et de réduire le coût d’immobilisation de celles-ci (Figure
35 ; en bas à gauche) et de réduire la perte de revenue de la ferme d’éoliennes, qui se produit
lorsqu’une turbine n’est pas réparée (Figure 35 ; en bas à droite).
Figure 35: Graphiques générés à la volée au fur et à mesure que le jeu progresse (écran de jeu).
La figure 36 montre les pertes et profits des opérations de maintenance. Ce graphique est généré une
fois la fin des 15 jours passés. Le graphique montre que les coûts de maintenance pour l’immobilisation
des ressources est proche des coûts engagés concernant la maintenance de la windfarmA. Les coûts
pour une telle activité pour la ferme windfarmB est à peu près 2,5 fois plus que ceux de la ferme
windfarmA. Cependant, en cas de maintenance non effectuée, la perte de revenu pour la ferme
windfarmB est 3,5 fois plus élevée que la perte de revenu pour la ferme windfarmA. Par conséquent,
il aurait été judicieux d’allouer plus de ressources de maintenance à la ferme windfarmB. Nous
attendons donc que le joueur apprenne de ces résultats et réfléchisse sur les changements nécessaires
dans sa prise de décision lors de la partie suivante.
La e-maintenance et la réalité augmentée
50/65
Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée
Figure 36: Graphique affichant le coût des opérations de maintenance et la perte de revenue (écran de jeu).
3.4.4 Perspectives
Ce jeu de maintenance (MRO) a été montré aux industriels et académiques invités durant l’événement
final Mer Innovate qui s’est tenu en mars 2015 à Portsmouth. Les retours des utilisateurs ayant joué
au jeu ont été pris en compte et une prochaine version du jeu est en cours de développement. En
outre, et comme cela a été mentionné dans le chapitre précédent, certaines fonctionnalités ont été
ajoutées dans l’interface graphique mais ont besoin d’être implémentées, notamment de permettre
au jouer de varier les paramètres de maintenance (Figure 30 ; troisième onglet), de permettre la
politique 3 (Figure 31) de prendre en compte les fenêtres de conditions météorologiques (Figure 30 ;
quatrième onglet. Il est prévu que ce jeu soit utilisé à la Business School de l’université d’Exeter
pendant des travaux pratiques sur le management opérationnel. En outre, il est prévu de publier le jeu
dans des publications académiques et de rendre le code source disponible pour ceux qui
souhaiteraient le développer davantage.
3.5 Standardisation des procédures de maintenance en réalité augmentée
3.5.1 Introduction
Comme expliqué au chapitre « 2.4.1 Réalité augmentée : contexte de la maintenance off-shore », nous
avons identifié deux principaux métiers dans la maintenance :
 L’opérateur (ou technicien)
Son rôle est d’intervenir physiquement sur les éoliennes pour les réparer.
 L’expert
Son rôle est de maitriser les pannes possibles sur le système et les étapes à suivre pour réparer
celles-ci. C’est lui qui crée les procédures de maintenance et guide les opérateurs en cas de
problème d’exécution.
La problématique est de permettre à ces 2 métiers d’échanger plus efficacement et à distance afin que
l’expert puisse apporter son savoir à l’opérateur (ou technicien) sans avoir à être physiquement
présent à ses côtés. C’est bien cette analyse de la problématique qui nous a amené à étudier les
systèmes de réalité augmentée. Nous allons donc dans une première partie présenter les deux modes
de collaboration que nous avons définis, puis nous présenterons le modèle permettant de créer des
procédures de maintenance en réalité augmentée. Enfin nous présenterons le démonstrateur que
nous avons développé lors de ce projet.
3.5.2 Les modes de collaboration
Dans cet échange entre l’expert et l’opérateur, nous proposons deux modes de collaboration
permettant de répondre à cette problématique :
 La maintenance guidée (voir figure 37)
Dans ce modèle, l’expert modélise les processus de maintenance et les stocke sur une base de données
(figure 37 - 1). Avant de se rendre sur le site à maintenir, le technicien charge son lecteur de réalité
augmentée avec les maintenances à effectuer sur site (figure 37 - 2). Une fois sur place, il suivra le
La e-maintenance et la réalité augmentée
51/65
Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée
guide en réalité augmentée créé par l’expert (figure 37 - 3). Le travail de Henderson [74], cité plus haut,
illustre ce mode de maintenance.
Figure 37 : La maintenance guidée : l’expert remplit la base de données de maintenance et l’opérateur les récupère avant de
se rendre sur le site à maintenir.
 La maintenance assistée (voir figure 38)
C’est un mode qui va permettre au technicien de communiquer en temps réel avec un expert. Si le
technicien est bloqué dans sa maintenance car il ne comprend pas la procédure à suivre ou souhaite
éclaircir un point, il peut contacter l’expert dans une conversation en directe (figure 38 - 1). L’expert
recevra un flux vidéo de ce que voit le technicien sur place et pourra lui « augmenter » sa vision (figure
38 - 2) pour lui indiquer la démarche à suivre et débloquer le technicien. Le travail de Bottecchia [76],
cité plus haut, illustre ce mode de maintenance.
Figure 38 : La maintenance assistée : correspondance directe entre un opérateur et un expert grâce à la réalité augmentée
Nous avons pour le moment axé principalement nos recherches sur la maintenance guidée. Ce que
nous avons retenu des applications ou frameworks de réalité augmentée existants, est que l’utilisation
d’outils ou de framework propriétaires sont très peu abordables par un expert en maintenance n’ayant
pas de compétences en programmation informatique. Cette problématique de difficulté de prise en
main nous a amené au point suivant.
3.5.3 Le modèle de maintenance pour la réalité augmentée
L’expert n’étant pas un développeur informatique, la question suivante s’est posée : Comment rendre
la création de procédure de maintenance en réalité augmentée, par un expert, facile et réutilisable dans
tout type de métier ?
L’objectif est donc double : standardiser la description de procédures de maintenance en réalité
augmentée et permettre une évolution du standard. L’enjeu est de permettre à des logiciels
hétérogènes de communiquer pour décrire ces procédures et de permettre l’évolution du standard
pour s’adapter aux problématiques métiers. La figure ci-dessous décrit le workflow d’utilisation du
standard. Tout d’abord, l’expert, depuis un outil qu’il maitrise, édite les opérations de maintenance
(figure 39 - 1). L’outil peut être de tout type : un outil de CAO comme SolidWorks, un outil auteur
spécifique à une entreprise. L’adaptation à un logiciel existant pourra se faire grâce à un plugin
permettant l’édition et l’export de ces procédures vers le standard proposé. Une fois créées, les
procédures sont exportées dans un format standard, de type XML (figure 39 - 2). Enfin, l’opérateur
charge le lecteur de RA avec les ressources suivantes : d’une part le fichier standard exporté par
l’expert, d’autre part les modèles d’objets 3D. Une fois fait, le lecteur de RA peut afficher les
procédures de maintenance en réalité augmentée, étape par étape, pour guider l’opérateur.
La e-maintenance et la réalité augmentée
52/65
Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée
Ressources
Opérateur
Expert
Editeur de RA
SolidWorks
Outil auteur
Plugin
1
Export
2
Fichier
standard
XML
3
Lecteur de RA
Smart Glasses ou
tablette
Modèle 3D
Figure 39: Workflow de création de procédure de maintenance par un expert (1), d'export vers un standard (2) et
d'utilisation par un opérateur au travers du lecteur de RA (3)
3.5.3.1 La modélisation du système
Afin de pouvoir représenter le système à maintenir, il faut pouvoir le modéliser de manière standard.
Pour cela, nous utilisons ce diagramme de classe UML (voir figure 40).
Figure 40 : Diagramme de classe permettant de modéliser un système sur lequel des opérations de maintenance en réalité
augmentée seront faites.
Pour modéliser le système sur lequel la maintenance doit être faite, nous définissons les concepts
suivants : chaque système est constitué d’une entité (Entity) principale. Cette entité peut être un
conteneur d’autres entités. Cela permet donc de représenter une pièce, elle-même composée d’autre
La e-maintenance et la réalité augmentée
53/65
Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée
pièce. Par exemple une hélice d’éolienne est composée d’un rotor et de pale. Par conséquent l’entité
principale est le rotor, qui sera lui-même composé de pales. Sur chacune des entités, est associé un
modèle 3D, préalablement réalisé en CAO par un expert. A partir de là, il ne reste plus qu’à positionner
les entités les unes par rapport aux autres grâce à leur position sur trois dimensions (Pos3D). Enfin,
afin de déterminer comment sera reconnue la pièce par notre interpréteur de maintenance, nous
avons deux blocs qui permettent de paramétrer le mode de détection en réalité augmentée
(Tracking3D et TrackingImageTarget). Pour chacun des suivis (tracking) utilisés, il est nécessaire de
pouvoir positionner l’objet servant à la reconnaissance par rapport à l’objet du système (Entity). Par
exemple, plusieurs photos de différents points de vue d’une boite de vitesse de l’éolienne sont
prises. Pour chaque photo prise, une instance de TrackingImageTarget est à créer dans le modèle.
Chaque instance est positionnée (position, orientation) par rapport à l’Entity représentant la boite de
vitesse. De cette manière, dès que le lecteur de RA reconnait une des photos prises (ImageTarget), il
peut afficher par-dessus l’objet 3D permettant de guider l’opérateur en cohérence avec le monde réel.
3.5.3.2 La modélisation des procédures de maintenance
Une fois que le système est modélisé, il faut faire de même pour les procédures de maintenance
puisque ces procédures vont s’appliquer sur le système. La figure 41 représente le modèle proposé :
Figure 41: Modélisation des procédures de maintenance.
Une maintenance est définie comme étant une liste d’actions successives (Action) effectuées sur une
entité du système (définie précédemment). Une action est représentée par une animation sur une
pièce (Entity) du système (voir figure 42 (e) (f)). Une animation (Animation) est un mouvement avec
une position et une orientation de départ et d’arrivée à jouer sur un temps donné. Par exemple une
animation comme « dévisser » représente un mouvement partant de la position, orientation (x, y, z),
(rx, ry, rz) = (0, 0, 0), (0, 0, 0) vers la position, orientation (0, 0, -50), (0, 0, -180°) en 800 ms. Cela
représente donc un mouvement de recul tout en tournant la pièce dans le sens trigonométrique. Les
illustrations (Illustration) ont exactement le même comportement que les animations mais sur une
entité externe (ExternalEntity). Une entité externe est un objet qui ne fait pas parti du système mais
est utile dans la maintenance. Par exemple, une augmentation représentant un tournevis pourrait
apparaitre au-dessus d’une vis afin de représenter l’outil à utiliser pour effectuer la maintenance. Dans
ce cas, la vis faite partie du système et est conceptualisé par l’Entity. L’outil quant à lui est bien externe
au système, et est conceptualisé par l’ExternalEntity. Bien que la programmation de ces 2 concepts
est la même, nous avons souhaité les séparer sémantiquement pour bien distinguer le système à
maintenir, des outils ou indications affichés en réalité augmentée.
La force de ce modèle réside dans le fait que les actions sont paramétrables grâce à la position et à
l’orientation de départ et d’arrivée de chaque animation (ou illustration). Par conséquent, une série
de templates d’action peut être définie et ajoutée au standard en fonction des besoins métiers. Une
fois ces templates d’action définies, l’expert n’a plus qu’à les utiliser pour créer chaque procédure de
maintenance. De plus si au cours du temps des nouveaux templates d’action doivent être définis, il est
facile de les créer pour les ajouter au standard. Ensuite l’export contiendra un fichier standard
La e-maintenance et la réalité augmentée
54/65
Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée
décrivant chaque procédure en réalité augmentée. Enfin le lecteur de réalité augmentée pourra lire ce
fichier standard pour jouer les procédures pas à pas. Puisque la description des procédures de
maintenance est basée sur un standard, alors n’importe quel lecteur de réalité augmentée respectant
ce standard pourra jouer ces procédures. Cela permettra donc de développer ce lecteur pour tout type
de matériel (tablette, lunette, mobile) existant ou à venir.
3.5.4 Le démonstrateur de réalité augmentée dédié à la maintenance
Pour le lecteur de réalité augmentée, nous avons opté pour l’utilisation de UNITY 3D pour son côté
multiplateforme et le framework Metaio. Nous avons développé une première version du lecteur de
réalité augmentée sur une tablette ASUS Transformer pad. Le démonstrateur décrit en réalité
augmentée la procédure permettant de démonter un ventilateur de PC. La figure 42 ci-dessous montre
les différentes étapes de cette procédure.
Figure 42 : Procédure de maintenance en réalité augmentée permettant de démonter un ventilateur de PC étape par étape
(a) La tablette est présentée devant le ventilateur, (b) Le ventilateur est détecté, un modèle 3D du ventilateur s’affiche en
réalité augmentée. Lancement de la maintenance en cliquant sur l’icône , (c) Animation pour dévisser la première vis, (d)
puis la seconde, (e) et (f) une animation nous informe que nous pouvons retirer le ventilateur.
Voir la vidéo http://youtu.be/8ZjDGC7hXCY
Nous avons aussi développé un premier essai sur des lunettes EPSON Moverio BT-200, de type Optical
See-Through. Cette application permet d’afficher une augmentation du modèle 3D du ventilateur de
PC avec sa version réel. Bien que le démonstrateur soit fonctionnel, ce premier essai nous a fait
rencontrer quelques difficultés que nous détaillerons dans le paragraphe suivant.
3.5.5 Conclusions, Limitations et perspectives
Les compétences techniques nécessaires pour développer des applications de réalité augmentée nous
montrent l’importance de standardiser ces procédures de maintenance afin d’en faciliter la création
et la modification. Le modèle de procédure proposé est donc pertinent. Il ne reste toutefois qu’une
première version. Il sera nécessaire de le faire évoluer lorsque nous l’utiliserons sur un plus grand
nombre de procédures. En effet, le modèle n’a été utilisé que sur le premier cas de développement
exposé dans le paragraphe précédent. Nous le ferons donc évoluer avec les contraintes d’utilisation
de celui-ci afin de permettre l’industrialisation du processus. De plus, les retours que nous avons reçus
des industriels rencontrés lors des conférences nous ont montré le besoin de prendre en compte les
retours d’expérience de l’opérateur. Bien que l’expert possède la connaissance sur les défaillances du
système, l’opérateur, qui effectue les procédures de maintenance, possède un savoir-faire qu’il est
important de capitaliser. Par conséquent, il faudra que le modèle permette aussi à l’opérateur de faire
des mises à jour de procédure, moyennant une validation de l’expert.
Une fois la version 2 du modèle mise en place, il sera nécessaire de créer un éditeur de maintenance
respectant ce standard. Nous nous dirigeons pour l’instant vers une intégration dans le logiciel
La e-maintenance et la réalité augmentée
55/65
Travaux et résultats > Standardisation des procédures de maintenance en réalité augmentée
SolidWorks, puisqu’il est un de ceux les plus utilisés en CAO. Il sera intéressant de travailler avec un
partenaire industriel pour créer cet éditeur afin de pouvoir le tester sur des problématiques réelles.
Cela permettra à l’expert industriel de créer des procédures de maintenance et par la suite d’évaluer
l’apport de la réalité augmentée en mode de collaboration guidée. De la même manière, la mise en
place d’un outil permettant de faire une collaboration assistée et d’évaluer ce mode devra être mise
en place.
L’application développée sur les Epson Moverio nous a permis d’appréhender les limitations de ce type
d’appareil. En effet, la qualité moyenne de la caméra (640x480) ne permet pas de détecter aisément
les images cibles. Le bruit présent sur l’image prise par la caméra empêche l’algorithme de détection
d’être efficient. De plus la vision au travers des Optical See-Through peut obstruer la vue du monde
réel. Il sera intéressant d’intégrer une caméra de meilleure qualité sur ces Epson Moverio BT-200 afin
d’obtenir un suivi plus performant. En ce qui concerne les lunettes de type Optical Glance, la vision de
l’utilisateur n’est pas obstruée, mais la taille de l’écran est handicapante pour l’usage sur une longue
période. Ces premières impressions d’usages restent à confirmer scientifiquement. C’est pourquoi il
sera nécessaire de tester les procédures de maintenance sur plusieurs types d’appareils disponibles :
la tablette, le mobile, les lunettes Optical See-Through et les lunettes Optical Glance. Ce test permettra
d’évaluer si la réalité augmentée permet de localiser puis d’exécuter des tâches de maintenance plus
rapidement qu’avec des méthodes classiques (manuel électronique ou papier, conversation
téléphonique). Il faudra enfin évaluer le retour des utilisateurs en matière de confort, de lisibilité, de
facilité d’usage et d’acceptabilité.
Le dernier thème qui ressort de ce projet est la GUI (Gesture User Interface). Ce thème aborde les
problématiques d’interface homme machine sans écran ni clavier. Certes, les lunettes intelligentes
permettent d’agir avec les mains libres, en contrepartie, les interfaces hommes machines pour
contrôler l’application sont limitées. Tous les gestes que nous utilisons quotidiennement sur tablettes :
pinch, zoom, tap, slide, ne sont pas disponibles sur ce type d’appareil. Il sera donc nécessaire
d’effectuer un état de l’art sur les méthodes actuelles afin de définir une série de gestes permettant le
contrôle de l’application de maintenance.
La e-maintenance et la réalité augmentée
56/65
Conclusion > Standardisation des procédures de maintenance en réalité augmentée
4 Conclusion
Le projet Mer Innovate nous a permis de travailler sur les problématiques et les nouvelles technologies
liées à la maintenance des énergies marines renouvelables, et plus particulièrement les parcs éoliens
offshores. La collaboration efficace entre tous les partenaires a été le facteur clé pour la réussite du
projet. En effet, tous les objectifs ont été atteints et certains dépassés (nombre de publications,
simulateur). Ce rapport présente les travaux scientifiques et techniques effectués lors de ce projet.
Après une introduction générale, ce rapport a présenté un état de l’art sur la e-maintenance
et ses applications puis s’est concentré sur la réalité augmentée dédiée à la maintenance. Par la suite,
le rapport a présenté les travaux et résultats obtenus sur ces sujets : les simulateurs développés
comme outil d’aide à la décision et à la planification, la réalité augmentée pour la maintenance et le
serious game pour l’apprentissage de la maintenance.
A travers la simulation, nous avons pu voir que la stratégie de maintenance avait un fort impact
sur le coût de l’énergie. La stratégie de maintenance que nous avons proposée est une piste sérieuse
pour réduire le coût de ce type d’énergie. Par ailleurs, le développement des nouvelles technologies
comme la réalité augmentée permet de répondre aux contraintes liées aux conditions extrêmes
(météorologiques, distance des côtes) et au manque de formation. Notre proposition de modélisation
de la maintenance en réalité augmentée permettra à terme à un expert de facilement mettre en place
cette technologie et créer ses propres scénarios de maintenance. Il pourra donc partager son savoir à
distance avec l’opérateur travaillant sur site. Le serious game, nous a permis de transmettre les
connaissances acquises lors du projet. Il permettra donc à des étudiants de mettre en œuvre les
stratégies de maintenance en les expérimentant.
Ces résultats intéressants et leurs analyses ouvrent d’autres pistes de recherche et de
développement telles que : l’évaluation et la maitrise des risques liées à cette filière d’éolienne
offshore, le développement du modèle de dégradation, l’exploitation de la prédiction des fenêtres de
temps. En ce qui concerne la réalité augmentée il reste à expérimenter le modèle de maintenance
proposé pour tester son usage de manière industrielle, à étudier les interfaces gestuelles permettant
de contrôler une application les mains libres et enfin à tester l’acceptabilité d’usage sur les différents
types d’appareils (tablette, lunettes intelligentes).
D’autres projets doivent être lancés pour exploiter et améliorer les résultats obtenus et
augmenter la collaboration avec les PME du domaine.
5 Bibliographie
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
M. Hightower et S. A. Pierce, «The energy challenge,» Nature, vol. 452, n° %17185, pp. 285-286,
2008.
R. Perveen, N. Kishor et S. R. Mohanty, «Off-shore wind farm development: Present status and
challenges,» Renewable and Sustainable Energy Reviews, vol. 29, pp. 780-792, 2014.
A. R. Henderson, C. Morgan, H. C. Smith, R. J. Barthelmie et B. Boesmans, «Offshore Wind
Energy in Europe—A Review of the State-of-the-Art,» Wind energy, vol. 6, n° %11, pp. 35-52,
2003.
S. A. Ivan Pineda, J. Moccia et J. Wilkes, «{Wind in power 2013},» n° %1February, pp. 1-12, 2014.
F. P. Team, presentation of the offshore winf farm of Fecamp / Presentation du projet du parc
eolien offshore de Fecamp, 2013.
F. Brennan, «Risk Based Maintenance for Offshore Wind Structures,» Procedia CIRP, vol. 11, pp.
296-300, 2013.
E. Byon, E. P{\'e}rez, Y. Ding et L. Ntaimo, «Simulation of wind farm operations and maintenance
using discrete event system specification,» Simulation, vol. 87, n° %112, pp. 1093-1117, 2011.
G.Hassan, «{Concerted Action on Offshore Wind Energy in Europe},» 2001.
La e-maintenance et la réalité augmentée
57/65
Bibliographie > Standardisation des procédures de maintenance en réalité augmentée
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
[18]
[19]
[20]
[21]
[22]
[23]
[24]
[25]
[26]
[27]
A. L. Dimeas et N. D. Hatziargyriou, «Operation of a multiagent system for microgrid control,»
IEEE TRANSACTIONS ON POWER SYSTEMS PWRS, vol. 20, n° %13, p. 1447, 2005.
K. Holmberg, A. Adgar, A. Arnaiz, E. Jantunen, J. Mascolo et S. Mekid, E-maintenance, Springer
Science \& Business Media, 2010.
S. Chowdhury et A. Akram, «E-maintenance: Opportunities and Challenges,» chez The 34th
Information Systems Research Seminar in Scandinavia (IRIS), Turku, Finland, August 16-19, 2011,
2011.
C. Emmanouilidis, J. P. Liyanage et E. Jantunen, «Mobile solutions for engineering asset and
maintenance management,» Journal of Quality in Maintenance Engineering, vol. 15, n° %11, pp.
92-105, 2009.
J. P. Liyanage, «Integrated e-Operations-e-Maintenance: Applications in North Sea Offshore
Assets,» chez Complex System Maintenance Handbook, Springer, 2008, pp. 585-609.
R. van de Pieterman, H. Braam, T. Obdam, L. Rademakers et T. van der Zee, «Optimisation of
maintenance strategies for offshore wind farms,» chez The Offshore 2011 Conference, 2011.
L. Rademakers, H. Braam, M. B. Zaaijer et S. W. Energy, «{ASSESSMENT AND OPTIMISATION OF
OPERATION AND MAINTENANCE OF OFFSHORE WIND TURBINES},» 2003.
J. J. Nielsen et J. D. Sorensen, «On risk-based operation and maintenance of offshore wind
turbine components,» Reliability Engineering \& System Safety, vol. 96, n° %11, pp. 218-229,
2011.
S.-H. Liao, «Expert system methodologies and applications—a decade review from 1995 to
2004,» Expert systems with applications, vol. 28, n° %11, pp. 93-103, 2005.
S. A. Kalogirou, «Artificial intelligence for the modeling and control of combustion processes: a
review,» Progress in Energy and Combustion Science, vol. 29, n° %16, pp. 515-566, 2003.
K. Wang, Intelligent condition monitoring and diagnosis systems: a computational intelligence
approach, vol. 93, IOS press, 2003.
K. Warwick, A. Ekwue et R. Aggarwal, Artificial intelligence techniques in power systems, Iet,
1997.
M. P{\'e}rez, E. Garc{\'\i}a, F. Morant, A. Correcher et E. Quiles, «Optimal Maintenance system
for offshore wind turbines,» chez International Conference on Renewable Energies and Power
Quality (ICREPQ’10). Granada (Spain), 23th to 25th March, 2010.
J. H. Taylor et A. F. Sayda, «Prototype design of a multi-agent system for integrated control and
asset management of petroleum production facilities,» chez American Control Conference,
2008, 2008.
T. Burton, N. Jenkins, D. Sharpe et E. Bossanyi, Wind energy handbook, John Wiley \& Sons,
2011.
J. Lee, «A framework for web-enabled e-maintenance systems,» chez Environmentally
Conscious Design and Inverse Manufacturing, 2001. Proceedings EcoDesign 2001: Second
International Symposium on, 2001.
Y. Li, L. Chun et A. N. Y. Ching, «An agent-based platform for web-enabled equipment predictive
maintenance,» chez Intelligent Agent Technology, IEEE/WIC/ACM International Conference on,
2005.
E. Gilabert, E. Jantunen, C. Emmanouilidis, A. Starr et A. Arnaiz, «Optimizing E-Maintenance
Through Intelligent Data Processing Systems,» chez Engineering Asset Management 2011,
Springer, 2014, pp. 1-9.
B. Iung, E. Levrat, A. C. Marquez et H. Erbe, «Conceptual framework for e-Maintenance:
Illustration by e-Maintenance technologies and platforms,» Annual Reviews in Control, vol. 33,
n° %12, pp. 220-229, 2009.
La e-maintenance et la réalité augmentée
58/65
Bibliographie > Standardisation des procédures de maintenance en réalité augmentée
[28] R. C. Baldwin, How Do You Spell e-Maintenenace?, 2000.
[29] R. C. Baldwin, The Challenge of Change Revisited, 2004.
[30] E. Levrat, B. Iung et A. Crespo Marquez, «E-maintenance: review and conceptual framework,»
Production Planning \& Control, vol. 19, n° %14, pp. 408-429, 2008.
[31] M. Koc, J. Ni, J. Lee et P. Bandyopadhyay, Introduction to e-Manufacturing., 2005.
[32] d. world, iSCADA: Implementing eMaintenance.
[33] A. H. Tsang, «Strategic dimensions of maintenance management,» Journal of Quality in
Maintenance Engineering, vol. 8, n° %11, pp. 7-39, 2002.
[34] I. Hausladen et C. Bechheim, «E-maintenance platform as a basis for business process
integration,» chez Industrial Informatics, 2004. INDIN'04. 2004 2nd IEEE International
Conference on, 2004.
[35] M. Ucar et R. G. Qiu, «E-maintenance in support of e-automated manufacturing systems,»
Journal of the Chinese institute of industrial engineers, vol. 22, n° %11, pp. 1-10, 2005.
[36] A. C. Marquez et J. N. Gupta, «Contemporary maintenance management: process, framework
and supporting pillars,» Omega, vol. 34, n° %13, pp. 313-326, 2006.
[37] B. Tao, H. Ding et Y.-L. Xiong, «IP sensor and its distributed networking application in emaintenance,» chez Systems, Man and Cybernetics, 2003. IEEE International Conference on,
2003.
[38] M. Koc et J. Lee, «A system framework for next-generation E-maintenance systems,» China
Mechanical Engineering, vol. 5, p. 014, 2001.
[39] D. Stenmark, «Designing the new intranet,» 2002.
[40] D. Saint-Voirin et N. Zerhouni, «Cooperative systems modeling, example of a cooperative emaintenance system,» chez Distributed Frameworks for Multimedia Applications, 2006. The 2nd
International Conference on, 2006.
[41] S. Takata, F. Kirnura, F. Van Houten, E. Westkamper, M. Shpitalni, D. Ceglarek et J. Lee,
«Maintenance: changing role in life cycle management,» CIRP Annals-Manufacturing
Technology, vol. 53, n° %12, pp. 643-655, 2004.
[42] L. D. DeSimone et F. Popoff, Eco-efficiency: the business link to sustainable development, MIT
press, 2000.
[43] P. Cunha, J. C. Duarte et L. Alting, «Development of a productive service module based on a life
cycle perspective of maintenance issues,» CIRP Annals-Manufacturing Technology, vol. 53,
n° %11, pp. 13-16, 2004.
[44] M. Wilkinson, B. Hendriks, F. Spinato, K. Harman, E. Gomez, H. Bulacio, J. Roca, P. Tavner, Y.
Feng et H. Long, «Methodology and results of the ReliaWind reliability field study,» chez
European Wind Energy Conference and Exhibition 2010, EWEC 2010, 2010.
[45] H. Arabian-Hoseynabadi, H. Oraee et P. Tavner, «Failure modes and effects analysis (FMEA) for
wind turbines,» International Journal of Electrical Power \& Energy Systems, vol. 32, n° %17, pp.
817-824, 2010.
[46] R. Hyers, J. McGowan, K. Sullivan, J. Manwell et B. Syrett, «Condition monitoring and prognosis
of utility scale wind turbines,» Energy Materials, vol. 1, n° %13, pp. 187-203, 2006.
[47] J. R. Babu et S. Jithesh, «Breakdown risks in wind energy turbines,» Pravartak, the journal of
Insurance and risk Management from National Insurance Academy, Pun, vol. 3, n° %13, 2008.
[48] A. Stenberg et H. Holttinen, «Analysing failure statistics of wind turbines in Finland,» chez
European Wind Energy Conference, April, 2010.
[49] B. Lu, «{A Review of Recent Advances in Wind Turbine Condition Monitoring and Fault
Diagnosis},» 2012.
[50] A. Palanci, {Leak-free hydraulic fittings prevent vibration failure}.
La e-maintenance et la réalité augmentée
59/65
Bibliographie > Standardisation des procédures de maintenance en réalité augmentée
[51] E. W. M. M. M. P. Bill Chun Piu Lau, «{Review of offshore wind turbine failures and fault
prognostic methods},» Proceedings of the IEEE 2012 Prognostics and System Health
Management Conference (PHM-2012 Beijing), pp. 1-5, 2012.
[52] H. Kooijman, C. Lindenburg, D. Winkelaar et E. van der Hooft, «DOWEC 6 MW pre-design,»
Energy Research Center of the Netherlands (ECN), 2003.
[53] C. Energy, W. W. Are, G. Communities, L. Conservation, H. Rivers, A. Menhaden et N. P. Trading,
«Offshore wind energy,» February, vol. 26, p. 4, 2007.
[54] A. Muller, A. C. Marquez et B. Iung, «On the concept of e-maintenance: Review and current
research,» Reliability Engineering \& System Safety, vol. 93, n° %18, pp. 1165-1187, 2008.
[55] J. Campos, «Development in the application of ICT in condition monitoring and maintenance,»
Computers in Industry, vol. 60, n° %11, pp. 1-20, 2009.
[56] H. Braam et T. W. Verbruggen, «{R \& D NEEDS FOR O \& M OF WIND TURBINES},» 2000.
[57] S.-P. Breton et G. Moe, «Status, plans and technologies for offshore wind turbines in Europe
and North America,» Renewable Energy, vol. 34, n° %13, pp. 646-654, 2009.
[58] I. El-Thalji et E. Jantunen, «On the development of condition based maintenance strategy for
offshore wind farm: requirement elicitation process,» Energy Procedia, vol. 24, pp. 328-339,
2012.
[59] MerInnovate, «Mer Innovate project,» 2012.
[60] T. P. Caudell et D. W. Mizell, «Augmented reality: An application of heads-up display technology
to manual manufacturing processes,» chez System Sciences, 1992. Proceedings of the TwentyFifth Hawaii International Conference on, 1992.
[61] P. Milgram et F. Kishino, «A taxonomy of mixed reality visual displays,» IEICE TRANSACTIONS on
Information and Systems, vol. 77, n° %112, pp. 1321-1329, 1994.
[62] R. T. Azuma et others, «A survey of augmented reality,» Presence, vol. 6, n° %14, pp. 355-385,
1997.
[63] D. Van Krevelen et R. Poelman, «A survey of augmented reality technologies, applications and
limitations,» International Journal of Virtual Reality, vol. 9, n° %12, p. 1, 2010.
[64] A. Nee, S. Ong, G. Chryssolouris et D. Mourtzis, «Augmented reality applications in design and
manufacturing,» CIRP Annals-manufacturing technology, vol. 61, n° %12, pp. 657-679, 2012.
[65] S. Lieberknecht, S. Benhimane, P. Meier et N. Navab, «A dataset and evaluation methodology
for template-based tracking algorithms,» chez Mixed and Augmented Reality, 2009. ISMAR
2009. 8th IEEE International Symposium on, 2009.
[66] C. Harris et M. Stephens, «A combined corner and edge detector.,» chez Alvey vision conference,
1988.
[67] «ARToolKit».
[68] D. G. Lowe, «Distinctive image features from scale-invariant keypoints,» International journal
of computer vision, vol. 60, n° %12, pp. 91-110, 2004.
[69] H. Bay, T. Tuytelaars et L. Van Gool, «Surf: Speeded up robust features,» chez Computer Vision-ECCV 2006, Springer, 2006, pp. 404-417.
[70] E. Rosten et T. Drummond, «Fusing points and lines for high performance tracking,» chez
Computer Vision, 2005. ICCV 2005. Tenth IEEE International Conference on, 2005.
[71] W. University, «CSE/EE 576: Computer Vision,» 2011.
[72] P. Corke, Robotics, vision and control: fundamental algorithms in MATLAB, vol. 73, Springer
Science \& Business Media, 2011.
[73] M. Mallem et D. Roussel, «Réalité augmentée: principes, technologies et applications,»
Techniques de l'ingénieur. Télécoms, n° %1TE5920, 2008.
La e-maintenance et la réalité augmentée
60/65
Bibliographie > Standardisation des procédures de maintenance en réalité augmentée
[74] S. Henderson et S. Feiner, «Exploring the benefits of augmented reality documentation for
maintenance and repair,» Visualization and Computer Graphics, IEEE Transactions on, vol. 17,
n° %110, pp. 1355-1368, 2011.
[75] D. Kalkofen, C. Sandor, S. White et D. Schmalstieg, Visualization techniques for augmented
reality, Springer, 2011.
[76] S. Bottecchia, «Système TAC: Télé-Assistance Collaborative. Réalité augmentée et NTIC au
service des opérateurs et des experts dans le cadre d'une tâche de maintenance industrielle
supervisée.,» 2010.
[77] E. Hau et H. Von Renouard, Wind turbines: fundamentals, technologies, application, economics,
Springer, 2013.
[78] W. Zhou, H. Yang et Z. Fang, «Wind power potential and characteristic analysis of the Pearl River
Delta region, China,» Renewable Energy , vol. 31, n° %16, pp. 739-753, 2006.
[79] J. Nilsson et L. Bertling, «Maintenance management of wind power systems using condition
monitoring systems—life cycle cost analysis for two case studies,» Energy Conversion, IEEE
Transactions on, vol. 22, n° %11, pp. 223-229, 2007.
[80] S. Tisue et U. Wilensky, «Netlogo: A simple environment for modeling complexity,» chez
International Conference on Complex Systems, 2004.
[81] E. B. Thornton et R. Guza, «Transformation of wave height distribution,» Journal of Geophysical
Research: Oceans (1978--2012), vol. 88, n° %1C10, pp. 5925-5938, 1983.
[82] M. Pidd, «Computer simulation in management science,» 1998.
[83] R. J. Brooks et S. Robinson, Simulation and Inventory Control (Texts in Operational Research),
Palgrave Macmillan, 2001.
[84] R. J. Paul, «Activity cycle diagrams and the three-phase method,» chez Proceedings of the 25th
conference on Winter simulation, 1993.
[85] S. Robinson, «Distributed simulation and simulation practice,» Simulation, vol. 81, n° %11, pp.
5-13, 2005.
[86] M. Pidd, «Computer Simulation in Management Science,» 2004.
[87] R. E. Shannon, «Introduction to the art and science of simulation,» chez Proceedings of the 30th
conference on Winter simulation, 1998.
[88] C. Harteveld, R. Guimaraes, I. Mayer et R. Bidarra, «Balancing pedagogy, game and reality
components within a unique serious game for training levee inspection,» chez Technologies for
E-Learning and Digital Entertainment, Springer, 2007, pp. 128-139.
[89] T. Susi, M. Johannesson et P. Backlund, «Serious games: An overview,» 2007.
[90] I. Marfisi-Schottman, A. Sghaier, S. Georges, P. Patrick et F. Tarpin-Bernard, «Vers une
industrialisation de la conception et de la production de Serious Games,» chez Atelier" Jeux
sérieux: conception et usages", EIAH'2009 Environnements Informatiques pour l'Apprentissage
Humain, 2009.
[91] M. Zyda, «From visual simulation to virtual reality to games,» Computer, vol. 38, n° %19, pp. 2532, 2005.
[92] Y. Hirose, J. Sugiura et K. Shimomoto, «Industrial waste management simulation game and its
educational effect,» Journal of Material Cycles and Waste Management, vol. 6, n° %11, pp. 5863, 2004.
[93] T. A. Philpot, R. H. Hall, N. Hubing et R. E. Flori, «Using games to teach statics calculation
procedures: Application and assessment,» Computer Applications in Engineering Education, vol.
13, n° %13, pp. 222-232, 2005.
[94] K. Katsaliaki et N. Mustafee, «Edutainment for Sustainable Development A Survey of Games in
the Field,» Simulation \& Gaming, p. 1046878114552166, 2014.
La e-maintenance et la réalité augmentée
61/65
Bibliographie > Standardisation des procédures de maintenance en réalité augmentée
[95] M. A. Lewis et H. R. Maylor, «Game playing and operations management education,»
International Journal of Production Economics, vol. 105, n° %11, pp. 134-149, 2007.
[96] S. Blackman, «Serious games... and less!,» ACM Siggraph Computer Graphics, vol. 39, n° %11,
pp. 12-16, 2005.
[97] D. R. Michael et S. L. Chen, Serious games: Games that educate, train, and inform, Muska \&
Lipman/Premier-Trade, 2005.
[98] K. Corti, «Games-based Learning; a serious business application,» Informe de PixelLearning, vol.
34, n° %16, pp. 1-20, 2006.
[99] K. Squire, «Cultural framing of computer/video games,» Game studies, vol. 2, n° %11, p. 90,
2002.
[100] A. Mitchell et C. Savill-Smith, «The use of computer and video games for learning,» A review of
the literature, 2004.
[101] G. Van Bussel et C. Schöntag, «Operation and maintenance aspects of large offshore
windfarms,» chez EWEC-CONFERENCE-, 1997.
[102] N. I. Badler, C. A. Erignac et Y. Liu, «Virtual humans for validating maintenance procedures,»
Communications of the ACM, vol. 45, n° %17, pp. 56-63, 2002.
[103] J. S. Liang, «Design and implement a virtual learning architecture for troubleshooting practice
of automotive chassis,» Computer Applications in Engineering Education, vol. 18, n° %13, pp.
512-525, 2010.
[104] J. S. Liang, «Scaffolding for automotive air conditioning learning environment,» Computer
Applications in Engineering Education, vol. 18, n° %14, pp. 736-749, 2010.
[105] A. A. Deshpande et S. H. Huang, «Simulation games in engineering education: A state-of-the-art
review,» Computer Applications in Engineering Education, vol. 19, n° %13, pp. 399-410, 2011.
[106] U. Rüppel et K. Schatz, «Designing a BIM-based serious game for fire safety evacuation
simulations,» Advanced Engineering Informatics, vol. 25, n° %14, pp. 600-611, 2011.
[107] K. Kuk, D. Jovanovic, D. Jokanovic, P. Spalevic, M. Caric et S. Panic, «Using a game-based learning
model as a new teaching strategy for computer engineering,» Turk J. Elec. Eng. \& Comp. Sci,
vol. 20, n° %12, pp. 1312-1331, 2012.
[108] H. Li, G. Chan et M. Skitmore, «Multiuser virtual safety training system for tower crane
dismantlement,» Journal of Computing in Civil Engineering, vol. 26, n° %15, pp. 638-647, 2012.
[109] S. Vosinakis et P. Koutsabasis, «Problem-based learning for design and engineering activities in
virtual worlds,» Presence: Teleoperators and Virtual Environments, vol. 21, n° %13, pp. 338-358,
2012.
[110] J. Geng, D. Zhou, C. Lv et Z. Wang, «A modeling approach for maintenance safety evaluation in
a virtual maintenance environment,» Computer-Aided Design, vol. 45, n° %15, pp. 937-949,
2013.
[111] J. Zhu, S. Ong et A. Nee, «An authorable context-aware augmented reality system to assist the
maintenance technicians,» The International Journal of Advanced Manufacturing Technology,
vol. 66, n° %19-12, pp. 1699-1714, 2013.
[112] H. Dib et N. Adamo-Villani, «Serious Sustainability Challenge Game to Promote Teaching and
Learning of Building Sustainability.,» Journal of Computing in Civil Engineering, p. 28(5), 2014.
[113] S. Qiu, Q. He, X. Fan et D. Wu, «Virtual human hybrid control in virtual assembly and
maintenance simulation,» International Journal of Production Research, vol. 52, n° %13, pp.
867-887, 2014.
[114] E.-S. S. Aziz, Y. Chang, S. K. Esche et C. Chassapis, «A multi-user virtual laboratory environment
for gear train design,» Computer Applications in Engineering Education, vol. 22, n° %14, pp. 788802, 2014.
La e-maintenance et la réalité augmentée
62/65
Bibliographie > Standardisation des procédures de maintenance en réalité augmentée
[115] E. Kerga, M. Rossi, M. Taisch et S. Terzi, «A serious game for introducing set-based concurrent
engineering in industrial practices,» Concurrent Engineering, vol. 22, n° %14, pp. 333-346, 2014.
[116] C. J. Venter et J. Coetzee, «Interactive Learning through Gaming Simulation in an Integrated
Land Use--Transportation Planning Course,» Journal of Professional Issues in Engineering
Education and Practice, vol. 140, n° %11, 2013.
[117] S. Ammar et R. Wright, «Experiential learning activities in operations management,»
International Transactions in Operational Research, vol. 6, n° %12, pp. 183-197, 1999.
[118] G. Chapman et J. Martin, «Computerized business games in engineering education,» Computers
\& education, vol. 25, n° %11, pp. 67-73, 1995.
[119] M. C. C. Baranauskas, N. G. Gomes Neto et M. A. Borges, «Gaming at work: a learning
environment for synchronized manufacturing,» Computer Applications in Engineering
Education, vol. 8, n° %13-4, pp. 162-169, 2000.
[120] M. Holweg et J. Bicheno, «Supply chain simulation--a tool for education, enhancement and
endeavour,» International journal of production economics, vol. 78, n° %12, pp. 163-175, 2002.
[121] A. C. Johnson et A. M. Drougas, «Using Goldratt's game to introduce simulation in the
introductory operations management course,» INFORMS Transactions on Education, vol. 3,
n° %11, pp. 20-33, 2002.
[122] D. Y. Wu et E. Katok, «Learning, communication, and the bullwhip effect,» Journal of Operations
Management, vol. 24, n° %16, pp. 839-850, 2006.
[123] F. Pasin et H. Giroux, «The impact of a simulation game on operations management education,»
Computers and Education, vol. 57, n° %11, pp. 1240-1254, 2011.
[124] D. Battini, M. Faccio, A. Persona et F. Sgarbossa, «Logistic Game™: learning by doing and
knowledge-sharing,» Production Planning and Control, vol. 20, n° %18, pp. 724-736, 2009.
[125] K. Katsaliaki, N. Mustafee et S. Kumar, «A game-based approach towards facilitating decision
making for perishable products: An example of blood supply chain,» Expert Systems with
Applications, vol. 41, n° %19, pp. 4043-4059, 2014.
[126] B. Keys et J. Wolfe, «The role of management games and simulations in education and
research,» Journal of management, vol. 16, n° %12, pp. 307-336, 1990.
[127] K. Nakano et T. Terano, «From gaming simulation to case method—empirical study on business
game development and evaluation,» chez Knowledge-Based Intelligent Information and
Engineering Systems, 2004.
[128] T. Lainema et O.-P. Hilmola, «Learn more, better and faster: computer-based simulation gaming
of production and operations,» International Journal of Business Performance Management,
vol. 7, n° %11, pp. 34-59, 2005.
[129] J. S. Goodwin et S. G. Franklin, «The beer distribution game: using simulation to teach systems
thinking,» Journal of Management Development, vol. 13, n° %18, pp. 7-15, 1994.
[130] H. Haapasalo et J. Hyvönen, «Simulating business and operations management--a learning
environment for the electronics industry,» International Journal of Production Economics, vol.
73, n° %13, pp. 261-272, 2001.
[131] D. Petty, S. Hooker et K. Barber, «The federal-mogul business game: The development and
application of an educational aid for planning and control,» issues, vol. 3, p. 4, 2001.
[132] J. Zabawa et B. Mielczarek, «Tools of Monte Carlo simulation in inventory management
problems,» chez Proceedings 21st European Conference on Modelling and Simulationi (ECMS),
2007.
[133] Y. Nemoto, K. Uei, T. Fujiwara, S. Mizoguchi et Y. Shimomura, «Strategic Thinking in EDIPS:
Edutainment for Designing Integrated Product-service System,» Procedia CIRP, vol. 16, pp. 9297, 2014.
La e-maintenance et la réalité augmentée
63/65
Table des illustrations > Standardisation des procédures de maintenance en réalité augmentée
[134] icons8, «Icons8,» 2014.
[135] F. Manuri, A. Sanna, F. Lamberti, G. Paravati et P. Pezzolla, «A Workflow Analysis for
Implementing AR-Based Maintenance Procedures,» chez Augmented and Virtual Reality,
Springer, 2014, pp. 185-200.
6 Table des illustrations
Figure 1: les causes principales des défaillances des éoliennes............................................................ 10
Figure 2: exemple dans la manche d’une configuration d'une ferme d'éolienne off-shore (en vert) et sa
base de maintenance on-shore (en mauve) [59]. ................................................................................. 12
Figure 3: Continuum réalité-virtualité [61] ........................................................................................... 13
Figure 4: Principe de fonctionnement de la réalité augmentée. .......................................................... 14
Figure 5: Les différents types d'algorithmes de suivi. ........................................................................... 14
Figure 6: Exemple de marqueur pour le suivi en réalité augmentée. ................................................... 15
Figure 7: Algorithme de réalité augmentée avec marqueur. Images provenant du site ARToolkit [67]
............................................................................................................................................................... 16
Figure 8: Exemple de l'image à différentes échelles (scale). L'image de base est convoluée par un filtre
gaussien de sigma=4, puis l'image résultante est convoluée avec le même filtre gaussien… etc ........ 17
Figure 9: Points d’intérêts (features) extraits avec l’algorithme SURF. Image de référence Iref (à gauche),
Image de la scène (à droite) .................................................................................................................. 18
Figure 10: Algorithme de réalité augmentée avec image de référence. .............................................. 18
Figure 11: Algorithme de réalité augmentée avec détection 3D .......................................................... 19
Figure 12: Représentation idéale de la réalité augmentée vu par un sujet humain. La flèche verte
représente l'augmentation virtuelle. .................................................................................................... 19
Figure 13: Les différents appareils d'affichage de la réalité augmentée. ............................................. 20
Figure 14: Principe de fonctionnement de l’affichage de la réalité augmentée avec 2 types différents
d'afficheurs. Video See-Through (à gauche) et Optical See-Through (à droite) [73] ............................ 20
Figure 15: Représentation de la réalité augmentée vue avec différents types d'appareil. (a) Lunette
Optical See-Through, (b) casque Video See-Through, (c) lunette Optical Glance (type Google Glass), (d)
tablette et (e) projecteur....................................................................................................................... 21
Figure 16: Maintenance en réalité augmentée Henderson [74]. (a) et (b) indication de la localisation de
la tâche. (c) et (d) indication de l’étape à effectuer dans la procédure de maintenance. .................... 24
Figure 17: Système TAC [76]. Interface de l’expert. En rouge ce que voit l’opérateur dans ses lunettes
Optical See-through. ............................................................................................................................. 24
Figure 18: Projet MARTA. La tablette affiche les opérations de maintenance en réalité augmentée. 25
Figure 19 : architecture basé sur les systèmes Multi-agent.................................................................. 26
Figure 20 : Power curve. ........................................................................................................................ 27
Figure 21: Fonctionnement de l’agent Monitoring ............................................................................... 30
Figure 22: The wind farm simulator developed with NetLogo.............................................................. 32
Figure 23: Production totale d'énergie et variation météorologique sur 5 ans .................................... 33
Figure 24: Le cout de chaque stratégie ................................................................................................. 34
Figure 25 Exécution de simulation à trois phases (adapté de [63]) ...................................................... 37
Figure 26 Capture d’écran du modèle Simul8 ....................................................................................... 38
Figure 27 Le flux logique du modèle SED Simul8 de la MRO................................................................. 39
Figure 28 : scénario du jeu .................................................................................................................... 42
Figure 29 : Capture d’écran du jeu ........................................................................................................ 42
Figure 30: Le joueur peut jouer soit de manière déterministe (Standard Play), soit de manière aléatoire
(Advance Play). ...................................................................................................................................... 48
La e-maintenance et la réalité augmentée
64/65
Table des illustrations > Standardisation des procédures de maintenance en réalité augmentée
Figure 31: Les joueurs peuvent choisir 3 modes de jeu différents. ...................................................... 48
Figure 32: L’information présentée dans le panneau résumé diffère en fonction de la politique choisie ;
la demande de ressource est cachée pour la politique 1 (à gauche) ; et montrée pour la politique 2 (à
droite). ................................................................................................................................................... 49
Figure 33: L’écran de jeu. ...................................................................................................................... 49
Figure 34: Les ressources demandées et allouées en fonction de la disponibilité et d’autres
considérations (écran de jeu). ............................................................................................................... 50
Figure 35: Graphiques générés à la volée au fur et à mesure que le jeu progresse (écran de jeu). ..... 50
Figure 36: Graphique affichant le coût des opérations de maintenance et la perte de revenue (écran
de jeu).................................................................................................................................................... 51
Figure 37 : La maintenance guidée : l’expert remplit la base de données de maintenance et l’opérateur
les récupère avant de se rendre sur le site à maintenir. ....................................................................... 52
Figure 38 : La maintenance assistée : correspondance directe entre un opérateur et un expert grâce à
la réalité augmentée ............................................................................................................................. 52
Figure 39: Workflow de création de procédure de maintenance par un expert (1), d'export vers un
standard (2) et d'utilisation par un opérateur au travers du lecteur de RA (3) ................................... 53
Figure 40 : Diagramme de classe permettant de modéliser un système sur lequel des opérations de
maintenance en réalité augmentée seront faites. ................................................................................ 53
Figure 41: Modélisation des procédures de maintenance. ................................................................... 54
Figure 42 : Procédure de maintenance en réalité augmentée permettant de démonter un ventilateur
de PC étape par étape (a) La tablette est présentée devant le ventilateur, (b) Le ventilateur est détecté,
un modèle 3D du ventilateur s’affiche en réalité augmentée. Lancement de la maintenance en cliquant
sur l’icône , (c) Animation pour dévisser la première vis, (d) puis la seconde, (e) et (f) une animation
nous informe que nous pouvons retirer le ventilateur. Voir la vidéo http://youtu.be/8ZjDGC7hXCY . 55
La e-maintenance et la réalité augmentée
65/65

Documents pareils