Développer des applications pour YARN avec

Programme formation
Date d'impression : 23/02/2017
Développer des applications pour YARN avec Hadoop 2.X
Hortonworks
Formation Hadoop officielle Hortonworks "HDP Developer: Custom Apache YARN
Applications"
DESCRIPTION
Cet atelier vous présente le fonctionnement détaillé de YARN et la
méthodologie pour développer ses propres applications avec le framework
YARN. Durant ces deux journées, nous aborderons les différents patterns
d'architecture logicielle avec YARN et les possibilités d’interactions avec
Hadoop. Cet atelier permettra aux participants d’avoir une parfaite
compréhension du fonctionnement de YARN et la maitrise de son API.
Stage pratique
HADOOP
Code :
HWYAR
Durée :
2 jours (14 heures)
OBJECTIFS PÉDAGOGIQUES
Identifier et définir les différents composants de YARN.
Appréhender le fonctionnement détaillé de YARN.
Utiliser l'API YARN pour développer des applications Java.
Configurer le Job Scheduler.
Maitriser le contexte d'exécution des conteneurs.
Interagir avec le framework Hadoop.
PUBLIC CIBLE
Architecte
Développeur
Expert technique
Exposés :
40%
Cas pratiques :
50%
Échanges d'expérience :
10%
Tarif & dates intra :
Sur demande
PRÉ-REQUIS
• Bonne connaissance du langage Java.
• La connaissance de l’environnement Linux est un plus.
MÉTHODE PÉDAGOGIQUE
Formation avec apports théoriques, échanges sur les contextes des
participants et retours d’expérience pratique du formateur, complétés
d’exercices pratiques et de mises en situation.
POUR ALLER PLUS LOIN :
• Site internet Hortonworks
• Livre blanc "Hadoop, feuille de route"
• Toutes nos formations Hadoop
• Formation officielle Hortonworks "Administrer la plateforme Hadoop 2.X
Hortonworks 1" (HDP Operations: Hadoop Administration 1) (HWADM)
• Formation officielle Hortonworks "Administrer la plateforme Hadoop 2.X
Hortonworks : niveau avancé" (HDP Administrator: Hadoop Administration 2)
(HWAD2)
• Formation officielle Hortonworks "Administrer la plateforme Hadoop 2.X
Hortonworks : sécurité" (HDP Operations: Security) (HWADS)
• Formation officielle Hortonworks "Administrer la base de données HBase
avec Hadoop 2.X Hortonworks" (HDP Operations: Apache HBase Advanced
Management) (HWHB2)
[email protected] - www.octo.academy - +33 (0)1 70 36 18 67
OCTO Academy est une marque d’OCTO Technology – N° DA 11 75 48 936 75
1
Programme formation "Développer des applications pour YARN avec Hadoop 2.X Hortonworks"
Date d'impression : 23/02/2017
• Formation officielle Hortonworks "Analyse de données pour Hadoop 2.X
Hortonworks avec HBase" (HDP Analyst: Apache HBase Essentials) (HWHB1)
• Formation officielle Hortonworks "Analyse de données pour Hadoop 2.X
Hortonworks avec Pig, Hive et Spark" (HDP Developer: Apache Pig and Hive)
(HWAPH)
• Formation officielle Hortonworks "Développer des applications pour
Apache Spark avec Python ou Scala" (HDP Developer: Enterprise Spark 1)
(HWSPK)
• Formation officielle Hortonworks "Développer des applications pour
Hadoop 2.X Hortonworks avec Java" (HDP Developer: Java) (HWJAV)
• Formation officielle Cloudera "Apache Spark pour développeurs de
Cloudera" (Cloudera Developer Training for Apache Spark) (CLSPK)
• Toutes nos formations Data Science
• Formation "Fondamentaux de la Data Science" (DSFDX)
• Formation "Data Science : niveau avancé" (DSNVA)
[email protected] - www.octo.academy - +33 (0)1 70 36 18 67
OCTO Academy est une marque d’OCTO Technology – N° DA 11 75 48 936 75
2
Programme formation "Développer des applications pour YARN avec Hadoop 2.X Hortonworks"
Date d'impression : 23/02/2017
Programme pédagogique détaillé par journée
Jour 1
PRESENTATION DE L’ARCHITECTURE DE YARN
•
•
•
•
•
L’architecture YARN
Les différences entre Hadoop 1 et Hadoop 2
Management des logs
Administration basique
Exercice pratique : exécuter un shell distribué
DEFINITION D'UNE APPLICATION YARN
•
•
•
•
Le cycle de vie d'une application
L'API YARN
La gestion des dépendances : LocalResource
Exercice pratique : installer l’environnement
DEVELOPPER UNE APPLICATION YARN
•
•
•
•
Intéragir avec le ResourceManager
Prérequis d'une application de type YARN client
Récupération des métriques et monitoring de son application
Exercice pratique : développer un client YARN
Jour 2
DEVELOPPER SON PROPRE APPLICATION MASTER
•
•
•
•
•
Prérequis et fonction d'un Application Master
Pattern synchrone ou asynchrone
Allocation des ressources
Monitoring des conteneurs
Exercice pratique : développer un Application Master
TRAITER AVEC LES CONTENEURS
•
•
•
•
•
Démarrer un conteneur
Communiquer avec l'Application Master
Ecrire ses propres conteneurs personnalisés
Co-localisation des données : communiquer avec HDFS
Exercice pratique : développer une application Java s’exécutant dans un conteneur
ORDONNANCER UN JOB YARN
• Présentation du Capactity Scheduler
• Présentation du Fair Scheduler
• Configuration du scheduler dans YARN
[email protected] - www.octo.academy - +33 (0)1 70 36 18 67
OCTO Academy est une marque d’OCTO Technology – N° DA 11 75 48 936 75
3