Introduction aux Machines Virtuelles avec VMKit

Transcription

Introduction aux Machines Virtuelles
avec VMKit
VMKit
un substrat de machine virtuelle
Ingénieur : Harris Bakiras,
Responsables : Gaël Thomas, Gilles Müller
EQUIPE REGAL LIP6 – INRIA (Paris/France)
Harris Bakiras
Les environnements d'exécution
Exécution code natif ( C, C++ )
VMKit: a substrate for Managed Runtime Environments
2
Les machines virtuelles
Execution machine virtuelle (Java, C#)
Code
Codesource
source
Code
Codesource
source
Machine Virtuelle
vérificateur de byte-code
Compilateur
Compilateur



Interpréteur
Compilateur
Compilateur
Analyse

Analyse
Optimise

Optimise
Génère
code binaire natif spécifique

Génère code binaire natif spécifique



Analyse

Analyse
Optimise

Optimise
Génère
byte-code générique

Génère byte-code générique
Gestionnaire Threads
Ramasse miette (GC)
Byte-code
Byte-codegénérique
générique
Machine
MachineVirtuelle
Virtuelle
Analyse
byte-code

Analyse byte-code

Évalue
le byte-code ou

Évalue le byte-code ou

Compile
et optimise en code binaire

Compile et optimise en code binaire
natif à la volée (JIT)
natif à la volée (JIT)

Harris Bakiras
Allocateur mémoire
Problèmes
Code
Codebinaire
binairenatif
natif
execution
execution
Compilateur à la volée (JIT)
execution
execution
3
Développement extrêmement long à réaliser !
Comment tester une idée avec différents langages ?
Comment implémenter une nouvelle VM efficace pour de nouveaux langages ?
Comment étendre rapidement des langages existant ?
Harris Bakiras
4
VMKit : un substrat de machine virtuelle
But de VMKit : aider à expérimenter dans les VM
Objectif : factoriser les composants communs des VM



Compilateur Just In Time : génération de code natif à la volée
Gestionnaire mémoire : alloue et collecte automatiquement la mémoire libre
Gestionnaire de Thread : créé et synchronise les threads
Personnalité Java
(J3)
Personnalité C#
(N3 non maintenu)
Personnalité R
(Reactor)



Personnalités
Personnalité Java
(J3)
VMKit
Compilateur
Just In Time
Harris Bakiras
Gestionnaire
mémoire
Personnalité C#
(N3 non maintenu)
Personnalité R
(Reactor)
~ 25k loc
VMKit
Gestionnaire
de Thread
Compilateur
Just In Time
5
Harris Bakiras
Gestionnaire
mémoire
Gestionnaire
de Thread
~ 500k loc
6



VMKit
d'un point de vue technique
<<5%
5%du
ducode
code
Personnalité Java
(J3)
Personnalité C#
(N3 non maintenu)
Personnalité R
(Reactor)
~ 25k loc
VMKit
Compilateur
Just In Time
Harris Bakiras
Gestionnaire
mémoire
Gestionnaire
de Thread
~ 500k loc
7
Harris Bakiras
8
Implementation de VMKit
Architecture détaillée
Choix d'implémentation: repose sur des composants externes
Personality
Compilation
related function
GC related functions
Execute
Code
Call back
 Compilateur à la volée (JIT) : LLVM [Lattner & Adve – CGO’04]
Personality
Method
 Gestionnaire mémoire : MMTk [Blackburn et Al. – ICSE’04]
Entre JIT-C et gestionnaire mémoire = GC précis
• Entre le gestionnaire de Thread et le gestionnaire mémoire = GC multi-threadé

Invoke
e
Ge
ner
at
MMTk
G
en
er
a
te
Clone
Object
gcmalloc/
write barrier
Stack
Maps
Find thread
Roots
Posix Thread
delegate
Invoke
VMKit = glue entre les différents composants
Modify Trace
Header Object
LLVM
Stub
 Gestionnaire de Thread : Posix
Find global
Roots
Thread
Management/
handshake
Native
Code
VMKit
Input/Output
Operating System
Harris Bakiras
9
Harris Bakiras
10
Architecture de la ToyVM
Personality Skeleton
VM Minimal (ToyVM)
pour le tutoriel
VMKit
Materializer
Object layout
ToyCompiler
ToyThread
Execute
Code
ToyVM
VMKit
Operating
System
ToyRoot
GVMaterializer
(llvm)
VirtualMachine
GC
MutatorThread
VMKit
Harris Bakiras
11
Harris Bakiras
12
ToyVM et ToyThread
ToyVM ← VirtualMachine

Materializer
Object layout
ToyCompiler
ToyThread
Execute
Code


ToyVM





VirtualMachine

GC
MutatorThread
Traçage des variables globales
Gestion des exceptions
ToyThread ← MutatorThread ← Thread
ToyRoot
GVMaterializer
(llvm)
Gestion des Threads
Point d'entrée du Garbage collector
Backtrace (parcours de la pile d’exécution)
Rendez-vous du garbage collector
Scan de la pile d'exécution lors du GC
Traçage des variables locales
Méthode principale d'exécution
VMKit
Harris Bakiras
13
Harris Bakiras
14
ToyThread
Execute
Code
ToyCompiler
ToyVM
Materializer
GC
ToyVM
ToyRoot
VirtualMachine
GC
MutatorThread
VMKit
Execute
Code
GVMaterializer
(llvm)
VirtualMachine
MutatorThread
ToyThread
VMKit
ToyRoot
GVMaterializer
(llvm)
Object layout
Materializer
Object layout
ToyCompiler
Harris Bakiras
VMKit
15
Harris Bakiras
16
ToyRoot (tag)
ToyRoot (tag)
ToyRoot ← vmkit::gc
- Tagger les objets (stack maps)
[ ….... ]
[ ….... ]
ToyRoot* F (ToyRoot* param) {
TOY_PARAM(param) ;
TOY_VAR(ToyRoot, val) ;
[ init val … ]
val = g(param, val) ;
return val ;
}
TOY_PARAM(param) ;
[ init val … ]
return val ;
}
ToyRoot* G (ToyRoot* a, ToyRoot* b){
TOY_PARAM(a) ;
TOY_PARAM(b) ;
TOY_VAR(ToyRoot, res) ;
res = a.doSomething(b) ;
return res ;
}
TOY_PARAM(a) ;
TOY_PARAM(b) ;
return res ;
}
[ ….... ]
[ ….... ]
Harris Bakiras
17
Harris Bakiras
ToyRoot (tag)
Call stack
...
param
parameters
TOY_PARAM(param) ;
[ init val … ]
return val ;
}
F
18
a
b
- Bits personnalisables
parameters
G
Local
vars
res
header
- Bits de lock (J3)
Local
vars
val
Stack
Maps
- header GC
- Bits de marquage
- Bits de hash
[ ….... ]
Harris Bakiras
ToyRoot (header gc)
[ ….... ]
TOY_PARAM(a) ;
TOY_PARAM(b) ;
return res ;
}
Stack
Maps
19
Harris Bakiras
ToyRoot Object
20
ToyRoot (header gc)
- header GC
- Bits de marquage
- Bits de hash
ToyRoot (tracer)
- header GC
- Bits de marquage
- Bits de hash
- Bits de lock (J3)
- Méthode de Traçage de l'objet
- Bits de lock (J3)
Call stack
rk
ma
...
destructor
Op. delete
tracer
ToyRoot 1
markAndTrace
mark
ce
tracer
Tra
And
val
ToyRoot Object
ToyRoot 3
21
Harris Bakiras
ToyRoot (tracer)
22
- Bits de lock (J3)
ToyCompiler
Materializer
Object layout
- header GC
- Bits de marquage
- Bits de hash
e
rac
ToyRoot 2
F
tracer
header
VT C++
Harris Bakiras
param
Stack
Maps
dT
An
ToyThread
Execute
Code
ToyVM
VMKit
- Allocateur GC
- Surcharge operator new
- Appel à new interdit pour gc (paramètre opaque)
ToyRoot
GVMaterializer
(llvm)
VirtualMachine
GC
MutatorThread
VMKit
Harris Bakiras
23
Harris Bakiras
24
ToyCompiler (load IR)
Object layout
ToyCompiler ← GVMaterializer
ToyCompiler
ToyThread
Récupération du code IR (représentation intermédiaire LLVM)
.cc
.cc
ToyVM
Execute
Code
Materializer

.cc
.cc
.cc
.cc
ToyRoot
GVMaterializer
(llvm)
VirtualMachine
GC
MutatorThread
VMKit
Harris Bakiras
25
Harris Bakiras

.cc
.cc
.cc
.cc
.bc
.bc
.bc
.bc

.cc
.cc
.cc
.cc
.bc
.bc
VMKit
.cc
.cc
.bc
.bc
.cc
.cc
.bc
.bc
.bc
.bc
toyVM.bc
toyVM.bc
Harris Bakiras
26
27
Harris Bakiras
opt
toyVM.bc
toyVM.bc
28
ToyCompiler (generate IR)



.cc
.cc
.cc
.cc
JIT compiling
toyVM-runtime.bc
.cc
.cc
ToyCompiler
ToyThread
module
.bc
.bc
.bc
.bc
IR
IR
.bc
.bc
Load at runtime
toyVM.bc
toyVM.bc
IR
IR
toyVM
toyVM
execute(...)
{
…
func =
compiler.jitCompile(...);
func(...);
…
}
bin
bin
opt
toyVM.bc
toyVM.bc
toyVM-content.bc
Harris Bakiras
29
pass manager
Harris Bakiras

ToyCompiler


JIT compiling
ToyCompiler
ToyThread
module
jitCompile
module
IR
IR
toyVM
toyVM
LLVM func
No body
IR
IR
toyVM
toyVM
execute(...)
{
…
func =
func(...);
…
}
Harris Bakiras
30
JIT compiling
pass manager

execution engine
Materialize
execute(...)
{
…
func =
func(...);
…
}
pass manager
31
LLVM func
No body
GenerateCode
execution engine
ToyThread
jitCompile
Harris Bakiras
execution engine
32
ToyCompiler (optimize IR)


JIT compiling
ToyCompiler
module
IR
IR
toyVM
toyVM
Materialize

JIT compiling
ToyCompiler
ToyThread
jitCompile
module
LLVM func
No body
IR
IR
toyVM
toyVM
execute(...)
{
…
func =
func(...);
…
}
GenerateCode
LLVM func
No opt
pass manager
Harris Bakiras

Harris Bakiras
ToyCompiler
IR
IR
toyVM
toyVM

pass manager
34
JIT compiling
ToyCompiler
ToyThread
LLVM func
No body
execute(...)
{
LLVM func
opt
Harris Bakiras

jitCompile
Materialize
execution engine
JIT compiling
module
…
func =
func(...);
…
}

execute(...)
{
pass manager
33
LLVM func
No body
LLVM func
opt

Materialize
GenerateCode
execution engine
ToyThread
jitCompile
ToyThread
module
jitCompile
IR
IR
toyVM
toyVM
LLVM func
opt
execute(...)
{
…
func =
func(...);
…
}
…
func =
func(...);
…
}
execution engine
pass manager
35
Harris Bakiras
execution engine
36
ToyCompiler (IR to native)
ToyCompiler (GC Infos)


JIT compiling
ToyCompiler
module
IR
IR
toyVM
toyVM

ToyCompiler
jitCompile
jitCompile
LLVM func
opt
IR
IR
toyVM
toyVM
LLVM func
opt
Native func
opt
execution engine
pass manager
37
Harris Bakiras
ToyCompiler

ToyThread
module
jitCompile
IR
IR
toyVM
toyVM
LLVM func
opt

execute(...)
{
Native func
opt
Harris Bakiras
…
func =
func(...);
…
}
execution engine
38
JIT compiling
pass manager
ToyThread
ToyCompiler

ToyVM
execute(...)
{
…
func =
func(...);
…
}
ToyCompiler (IR to native)

func
Stack Maps
module
execute(...)
{
pass manager
JIT compiling
ToyThread
Native func
opt
Harris Bakiras

…
func =
func(...);
…
}

JIT compiling

Generation d'IR

Optimisation de l'IR

Conversion de l'IR vers code natif
Transmission des StackMaps (information variables locales) au GC
execution engine
39
Harris Bakiras
40
A vos claviers !
lib/vmkit/MMTk/
include/vmkit
include/llvm
MutatorThread.h
LLVM
VMKit
Allocator.h
Thread.h
Questions ?
GVMaterializer.h
VirtualMachine.h
VmkitGC.h
/lib
TOYVM
Harris Bakiras
41
ToyThread (.h / .cc)
Harris Bakiras
ToyVM (.h / .cc)
ToyRoot (.h / .cc)
Tracers.cc
ToyCompiler (.h / .cc)
util.h
42

Introduction aux Machines Virtuelles avec VMKit

Transcription

Documents pareils

appaloosa - Les Années Laser

Interprété par Denzel Washington Les années 2000

Installation du Runtime Java™ de Sun Microsystems, Inc™

Procédure Installation Rapide PSI Sous Windows Seven

Dr Mike Harris

Télécharger : Les Français et les services entre particuliers

30 octobre 2002

formulaire-preinsciption-et

En savoir plus - Harris Interactive

Les services entre particuliers en 2016