Systèmes de fichiers distribués : comparaison de GlusterFS

Transcription

Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Systèmes de fichiers distribués : comparaison de
GlusterFS, MooseFS et Ceph avec déploiement sur
la grille de calcul Grid’5000.
JF. Garcia, F. Lévigne,
M. Douheret, V. Claudel
30 mars 2011
1/34
JF. Garcia, F. Lévigne, M. Douheret, V. Claudel
Systèmes de fichiers distribués
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Table des Matières
1
2
3
4
Introduction
5
Ceph
6
Comparaison
7
Conclusion
NFS
GlusterFS
MooseFS
1/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation du sujet
Le Grid’5000
Comparaison de systèmes de fichiers distribués :
Système de fichiers (FS) : façon de stocker, organiser des
informations dans des fichiers sur une mémoire secondaire
(CD-ROM, disque dur,. . .)
Système de fichiers distribué :
éclaté sur plusieurs serveurs
disponible depuis plusieurs clients
2/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Le Grid’5000
Le Grid’5000
Infrastructure distribuée dédiée à la recherche
11 sites, dont 9 en France
Figure: Les sites français du Grid’5000
3/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Le Grid’5000
Travailler sur le Grid’5000
Connexion au « frontend » par SSH
Réservation de nœuds, pour un certain temps
Déploiement d’image (OS)
Astuce :
Possibilité d’effectuer une réservation à l’avance, suivit par
l’exécution d’un script
4/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation de NFS
Aspect technique
Mise en place
Network File System
Développé par Sun Microsystem en 1984
Partager des données par le réseau
Méthode standard de partage entre machines Unix
5/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Aspect technique
Mise en place
Aspect technique
NFS et le protocole non connecté UDP
Depuis la version 3, possibilité d’utiliser TCP
Versions NFS définies dans différentes RFC
Ensemble du protocole repensé pour NFSv4 :
meilleur gestion de la sécurité
meilleur gestion de la montée en charge
système de maintenance simplifié
support des protocoles TCP (par défaut) et RDMA
6/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Aspect technique
Mise en place
Mise en place
Installation des paquets nfs-common et nfs-kernel-server
Implémentation d’un fichier exports dans /etc
Montage du partage sur les clients à l’aide de « mount »
Pour NFSv4 :
Des options supplémentaires sont à définir dans /etc/exports et le
type de protocole doit être spécifié lors du montage sur les clients.
7/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation de GlusterFS
Mise en place
Difficultés rencontrées
Licence GPLv3
Se base sur FUSE (Filesystem in UserSpacE)
Capacité pouvant atteindre plusieurs petabytes (1000 To)
Structure simple, deux éléments logiciels : serveur et client
Supporte plusieurs protocoles de communications (TCP/IP,
InfiniBand)
8/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Mise en place
Mise en place
Un serveur maitre : paquet glusterfs-server
x serveurs « normaux »
x clients : glusterfs-client
Note :
Les serveurs doivent avoir un répertoire dédié au partage
9/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Mise en place
Mise en place (2)
A partir du serveur maitre :
génération des fichiers de configurations (commande prévue)
envoie de fichiers aux serveurs, et aux clients
Démarrage des serveurs
Montage du volume par les clients
10/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Mise en place
Droit d’écriture des clients
Utilisation d’InfiniBand
11/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation de MooseFS
Architecture
Fonctionnalités
Processus de lecture
Processus d’écriture
12/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Architecture
Fonctionnalités
MooseFS (Moose File System) est un système de fichiers répartis à
tolérance de panne, développé par Gemius SA.
Licence GPLv3.
Disponible pour Linux, FreeBSD, OpenSolaris et MacOS X.
Respect de la norme Posix et l’utilisation de Fuse en espace
client.
Sa simplicité d’administration, de mise en œuvre et
d’utilisation.
Poubelle par défaut.
scalable
13/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Architecture
Fonctionnalités
Architecture
MooseFS est constitué de trois types de serveurs :
Le Master Serveur
Le Metalogger Serveur
Le Chunck Serveur
14/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Architecture
Fonctionnalités
Fonctionnalités
Tolérance aux pannes
Le système est réparti
Répartition de charge
Sécurité
15/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Architecture
Fonctionnalités
16/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Architecture
Fonctionnalités
17/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation
Caractéristique
Fonctionnement
Difficultés
Présentation de Ceph
Licence LGPL
Créé par Sage Weill en 2007
Destiné aux très grands clusters
But principal :
compatible POSIX
complètement distribué sans point de défaillance
18/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation
Caractéristique
Fonctionnement
Difficultés
Caractéristiques
Robustesse
Évolutivité transparente
Déconseillé en production
19/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation
Caractéristique
Fonctionnement
Difficultés
Fonctionnement
Trois types distincts de démons :
Moniteur de cluster
Serveurs de métadonnées
Serveurs de données
20/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation
Caractéristique
Fonctionnement
Difficultés
Moniteur
Configuration
État du cluster
Gestion des clients
21/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation
Caractéristique
Fonctionnement
Difficultés
Serveurs de métadonnées
Cache cohérent et distribué
Plusieurs serveurs = équilibrage de charge
22/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation
Caractéristique
Fonctionnement
Difficultés
Serveurs de données
Découpage des données
Réplication = tolérance aux pannes
23/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation
Caractéristique
Fonctionnement
Difficultés
Echanges de données
24/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Présentation
Caractéristique
Fonctionnement
Difficultés
Documentation minimaliste
Fichier authentification
25/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Benchmark
Graphiques
Tableau comparatif
Benchmark
Actions simultanées sur plusieurs clients :
Écriture de petits fichiers
Écriture de gros fichiers
Lecture de petits fichiers
Lecture de gros fichiers
26/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Benchmark
Graphiques
Tableau comparatif
27/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Benchmark
Graphiques
Tableau comparatif
28/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Benchmark
Graphiques
Tableau comparatif
29/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Benchmark
Graphiques
Tableau comparatif
30/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Benchmark
Graphiques
Tableau comparatif
Tableau comparatif
Facilité de mise en place
Fiabilité
Sécurité, disponibilité des données
Évolutivité
Économe en taille disque
Gluster
++
++
+
+
++
Moose
+
++
++
++
-
Ceph
+
++
++
-
NFS
++
++
--++
31/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Travail accompli
Expérience enrichissante
Prise en main du Grid’5000
Partage du cluster
Erreurs ponctuelles lors de déploiements
Scripts de déploiements, benchmark : automatisation totale
32/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Travail accompli
Travail accompli
Mise en place de systèmes de fichiers distribués
Création de scripts de déploiements, et de benchmark
Comparaison de ces systèmes
33/34
Introduction
NFS
GlusterFS
MooseFS
Ceph
Comparaison
Conclusion
Travail accompli
Travail sur un cluster
Niveau de technique important
Documentations en anglais
34/34

Systèmes de fichiers distribués : comparaison de GlusterFS

Transcription

Documents pareils

10 ans d`actions partagées

Claudel Philippe, L`arbre du pays Toraja (Roman)

A l`attention des parents des élèves du lycée Camille Claudel

Camille CLAUDEL, une artiste libre et passionnée

Annonce Recrutement - Acheteur

LIQUIDATION

LE MONDE SANS LES ENFANTS ET AUTRES HISTOIRES Philippe

conférence du 20-11-2012

Bilan du développement durable au lycée Camille Claudel Le projet

Systèmes de fichiers distribués étude de cas : NFS Network File