l`échange de données temps réel

Talented Together
L’ÉCHANGE DE DONNÉES TEMPS RÉEL
Retours d’expériences avec Talend
Julien DULOUT
Ludovic MONNIER
Manager Sopra
Consulting
Expert des offres BI, MDM & BigData
Architecte Sopra
Expert EAI‐ESB sur des projets d’intégration SOMMAIRE
1|Sopra & Talend
2|L’évolution du marché de la donnée
3|Échange temps réel : Zoom Projet Transport
4|Échange temps réel : Projets Ministère Intérieur & Orange
5|Retours d’expériences
2
L’échange de données temps réel ‐ Retour d’expérience avec Talend
SOPRA & TALEND
Sopra Stéria Group
Pourquoi Platinum Partner ?
+ 35000 collaborateurs
3,1 Mds€ de CA en 2013
Top 10 des ESN en Europe
4 métiers : Conseil, Services, Edition, Infrastructure
Offre cohérente pour outiller transport, contrôle et transformation de la donnée (ESB‐ETL‐DQM‐MDM)
Solutions Open Source pertinentes plus fonctionnalités industrielles en souscription
Apport d’accélération et d’industrialisation sur nos projets
Sopra & Talend
Partenaires depuis 2008
+ 150 projets
+ 100 collaborateurs expérimentés
Partenariat étendu au Big
Data en 2014
3
Centres de Services Talend
L’échange de données temps réel ‐ Retour d’expérience avec Talend
Paris, Lille, Bordeaux, Toulouse
Partage de bonnes pratiques
Capitalisation sur un socle applicatif autour des solutions Talend ETL et Talend ESB
L’ÉVOLUTION DU MARCHÉ DE LA DONNÉE
A nouvelle donne
Explosion des volumes
Multiplication des sources
Prédominance du non structuré
Prise de conscience du potentiel de valeur porté par les données
Nouveaux besoins
Partager plus les données
Fluidifier les échanges
Gérer les référentiels pour faciliter les croisements
Contrôler et garantir la qualité des données
Analyser la sémantique
Prédire les comportements
Nouveau
Une bonne partie des réponses …
4
L’échange de données temps réel ‐ Retour d’expérience avec Talend
PROJET SECTEUR TRANSPORT
Enjeux
Centraliser , homogénéiser et accéder en temps réel aux données des perturbations
Solution
Moderniser le système d’échange et de diffusion des informations commerciales auprès des usagers via les sites web et les afficheurs passagers
Rassembler les données de production des plans de transport de plusieurs sources pour alimenter les différents canaux de diffusion lors des journées de perturbation
Accéder aux données de perturbation en temps réel depuis une IHM avant la diffusion de l’information
Architecture
Talend Data Services
Talend Administration Center
PostgresSQL
Web services
Pilotage de la plate‐forme via IHM
5
L’échange de données temps réel ‐ Retour d’expérience avec Talend
Appli 1
Appli 2
Appli 3
Diffuseur
Canaux de diffusion finaux
PROJET SECTEUR TRANSPORT
ZOOM INDUSTRIALISATION
Normes de nommage
Application des règles de nommage standardisées sur différents projets ETL Talend SOPRA pour les jobs et les composants
Utilisation des règles de nommage proposées par TALEND pour les services
Gestion des contextes
Création d’un job générique pour une meilleure gestion du chargement et du contrôle d’existence du fichier de contexte
Centralisation de l’ensemble des données de contexte par environnement dans un fichier unique
6
L’échange de données temps réel ‐ Retour d’expérience avec Talend
Réutilisation du code
Création de jobs techniques génériques pour :
Gestion des erreurs
Chargement du contexte
Chargement du schéma XML
Les jobs spécifiques sont dédiés aux aspect fonctionnels de la solution
Template pour les web services
Utilisation d’un job chapeau paramétrable couvrant les fonctionnalités techniques applicables à toute opération
Appel à un Joblet générique de validation du format de la requête SOAP par chargement du schéma attendu Utilisation d’un deuxième Joblet pour couvrir le besoin fonctionnel de l’opération et générer la réponse SOAP
PROJET SECTEUR TRANSPORT
INDUSTRIALISATION DE LA MISE EN ŒUVRE DES WEBSERVICES
Utilisation d’un « sous‐job » générique pour la gestion du contexte (fichier)
Gestion unifiée des erreurs au niveau le plus haut avec retour SOAP Pattern implémentation haut niveau:
‐ contrôle de la requête systématique
‐ implémentation de la fonctionnalité via Joblet avec I/O standardisées 7
L’échange de données temps réel ‐ Retour d’expérience avec Talend
PROJET MINISTÈRE DE L’INTÉRIEUR – SCHENGEN NSIS
Enjeux
Permettre la coopération policière au sein de l’espace Schengen
Solution
Partage des alertes au sein de l’espace Schengen
14 catégories de signalement (Personnes recherchées, Véhicules, Documents, …)
2 niveaux : NSIS et CSIS
Mise en production : Avril 2013
Architecture
Talend ESB (open source )
700 messages/minutes émis
8
L’échange de données temps réel ‐ Retour d’expérience avec Talend
PROJET ORANGE – PHARAON
(PORTAIL HABILITÉ POUR L’ANALYSE ET LA RESTITUTION DES DEMANDES, DES INTERVENTIONS, DES CLIENTS)
Enjeux
Centraliser les accès aux applications principales du processus commande et livraison
Offrir un outil national unique de consultation destiné aux utilisateurs « Production en Unités d’Intervention » sur 32 UI
Améliorer l'ergonomie, permettre des gains de productivité et de fiabilité des données.
Solution
Projet Agile
Intégration et indexation de données en temps réel
Optimisations ETL (Parallélisation, Ordonnancement) Optimisations BDD (Gestion de sessions, optimisation et partitionnement Oracle)
Architecture
Talend Data Integration
Consultation des données via IHM GWT et moteur Exalead
600Go de données / 6 M de lignes par jour / 10 VMs d’acquisition Talend
9
L’échange de données temps réel ‐ Retour d’expérience avec Talend
Talented Together
L’ÉCHANGE DE DONNÉES TEMPS RÉEL
Retours d’expériences avec Talend
RETOURS D’EXPÉRIENCES – VISION « PRODUIT »
Routage/Transformation
Variété des connecteurs disponibles
Création de connecteur « Custom »
Conteneur d’application
Rechargement à chaud des bundles
Contrôle individuel des routes
Traitements ETL continus
11
L’échange de données temps réel ‐ Retour d’expérience avec Talend
Exposition des services
Intégration de CXF : Service Web créé à partir du WSDL
Administration
Versionning des services
Gestion de la haute disponibilité (Service Locator)
Déploiement outillé
RETOURS D’EXPÉRIENCES – VISION « MISE EN ŒUVRE »
Développement
Validation des routes par les tests unitaires
Tuning fin des traitements Talend
Mode collaboratif possible
Simplicité de prise en main via le studio
Architecture
Accompagnement d’une démarche SOA auprès de nos clients
TalendESB : une solution OpenSource
en appui sur des produits éprouvés (Camel, CXF, Karaf)
12
L’échange de données temps réel ‐ Retour d’expérience avec Talend
Performance
Scalabilité via Zookeeper
Paramétrage détaillé du niveau de parallélisme
Maîtrise de la mémoire RAM
Privilégier la charge sur le SGBD (ELT)
Industrialisation
1 produit : installation, déploiement et exploitation simplifiés
Réutilisabilité de composants génériques
QUESTIONS / RÉPONSES
13
L’échange de données temps réel ‐ Retour d’expérience avec Talend