Exporter au format PDF

Topologies
Cette page présente les différentes topologies de l'offre Hadoop Self Service.
Topologie "DEMO"
Cette topologie est servie dans le démo afin de tester les composants Mapr.
Node 1
HDFS
TaskTracker
Pig
CLDB
Zookeeper
WebServer
Node 2
HDFS
TaskTracker
Hive
(Cli+HiveServer2)
JobTracker
Oozie
Hue
Topologie "Small Cluster"
La topologie "Small Cluster" convient aux POC pour que le client s'habitue à la plateform Hadoop. Le cluster se compose de 5 nœuds.
Pour la raison de performance, les services spécifiques comme Jobtracker, Cldb, Zookeeper, Webserver ont mis sur les nœuds différents.
Les Tasktrackers sont installés sur tout le cluster.
Le cluster ne supporte pas la haute disponibilité.
La configuration recommandée à cheque nœud est 8GB RAM et 4 vCpus.
Node 1
HDFS
TaskTracker
CLDB
8GB RAM, 4
vCpus
Node 2
HDFS
TaskTracker
WebServer
8GB RAM, 4
vCpus
Node 3
HDFS
TaskTracker
JobTracker
8GB RAM, 4
vCpus
Node 4
HDFS
TaskTracker
Zookeeper
8GB RAM, 4
vCpus
Node 5
HDFS
TaskTracker
Hive
(Cli+HiveServer2)
Pig
Oozie
Hue
8GB RAM, 4
vCpus
Topologie "Small High-Avaibility Cluster"
La topologie "Small High-Avaibility Cluster" est une améloration de "Small Cluster" qui fournit la haute disponibilité pour les services
spécifiques de Hadoop.
Il y a 2 Cldb, 2 Webserver, 2 Jobtracker et 3 Zookeeper. Comme dans la topologie "Small Cluster", le Tasktracker est présente sur tous les
nœuds.
La configuration recommandée à chaque nœud est 8GB RAM et 4 vCpus.
Node 1
HDFS
TaskTracker
Zookeeper
CLDB
8GB RAM, 4
vCpus
Node 2
HDFS
TaskTracker
Zookeeper
CLDB
8GB RAM, 4
vCpus
Node 3
HDFS
TaskTracker
JobTracker
8GB RAM, 4
vCpus
Node 4
HDFS
TaskTracker
Zookeeper
JobTracker
8GB RAM, 4
vCpus
Node 5
HDFS
TaskTracker
WebServer
Hive
(Cli+HiveServer2)
Pig
Oozie
Hue
8GB RAM, 4
vCpus
Topologie "Large High-Avaibility Cluster"
La topologie "Large High-Avaibility Cluster" propose la configuration pour un cluster mis en production.
Les services sont groupés dans les types de nœud spécifques :
Master Node : les services de contrôle comme Cldb, Jobtracker
Data Node : les services de traitement de données come Tasktracker
Zookeeper Node : l'instance de Zookeeper
Client Node : les services applicatifs de Hadoop comme Pig, Hive, Oozie, Hue, Webserver
La configuration recommandée :
Master Node : 8GB RAM, 4 vCpus, au moins de 2 instances pour HA
Data Node : 8GB RAM, 4 vCpus, au moins de 4 instances
ZookeeperNode : 4GB RAM, 2 vCpu, entre 3 à 5 instances pour HA
Client Node : 8GB RAM, 4 vCpus
Master Node (min:2, max:3)
HDFS
JobTracker
CLDB
8GB RAM, 4
vCpus
Zookeeper Node (3 or 5)
HDFS
Zookeeper
4GB RAM, 2
vCpus
Data Node (min:4, max:*)
HDFS
TaskTracker
8GB RAM, 4
vCpus
Client Node (min:1, max:1)
HDFS
Hive
(Cli+HiveServer2)
Pig
Oozie
Hue
WebServer
8GB RAM, 4
vCpus