Real-time Compression

IBM Smarter Storage
Innovations pour un stockage plus efficient
Cédric Aragon
Directeur Division Stockage
Tendances 2013 du marché du stockage
Big Data / Analytics
Valeur des données
Mobilité
BYOD & 4G
Software Defined Storage
Virtualisation élargie
et orchestration
Administration simplifiée
Automatisation
Flash / SSD / Tiering
Performance
Consolidation
Migration / Archivage
Efficience
Protection des données
Sécurité
Cloud
Coût / Flexibilité
2
IBM au coeur de l’innovation
Janvier 2010 IBM Research – Zurich
35 To de données sur une seule bande magnétique
Août 2012 IBM travaille sur un
espace de stockage de 120
pétaoctets (200 000 disques)
Mai 2013 IBM Research – Amaden : « A boy and his Atom
», le plus petit film du monde ouvre la voie aux mémoires
atomiques
3
Quel est le problème des organisations IT ?
Une étude IBM sur plus de 700 clients révèle
de nombreux challenges… et des opportunités
Seul 1 client sur 5
a une infrastructure informatique
réellement efficace
et 100% ont une dépense de stockage
excessive alors que les budgets stagnent
Résoudre cette problématique
est le véritable défi
23%
70%
ne font pas de
capacity planning
ne virtualisent
pas leur stockage
68%
n’utilisent pas la
déduplication
70%
n’utilisent pas
de catalogue
de stockage
90%
30%
ne documentent
pas ou très peu
leurs procédures
seulement ont
une procédure
d’archivage
4
IBM Smarter Storage : une nouvelle
approche du stockage
Efficient par
nature
Gérez les coûts
et la croissance
des données
Auto-optimisé
Améliorez
la performance
et la productivité
Agile en
environnement
cloud
Facilitez l’accès
à l’information
et boostez le ROI
5
L’innovation pour mieux gérer l’explosion des données
Stockage Flash
(IBM FlashSystem)
85% de
réduction
des temps
de batch
et des temps de
réponse en
transactionnel
Virtualisation
(SAN Volume
Controller)
Placement
automatique
(IBM EasyTier)
Déduplication
(ProtecTIER)
+30%
de taux
3X plus
performant
Jusqu’à
25x
d’utilisation des
disques et
jusqu’à -50%
de coûts
d’administration
pour une
volumétrie SSD
équivalente à 5%
de la capacité
totale
division des
besoins en
capacité de
stockage avec la
déduplication
Compression
(IBM Real-time
Compression)
Jusqu’à
80%
de taux de
compression
des données
actives en
temps réel
6
Software Defined Storage
Déployez les bonnes ressources au bon moment
Optimisez les opérations
 Stockage de fichiers de haut niveau avec le
logiciel GPFS
 Provisioning en mode self-service avec
IBM SmartCloud Storage Access
 Virtualisation du stockage pour les données
structurées et non structurées avec IBM
SmartCloud Virtual Storage Center (VSC), la
famille IBM Storwize, IBM SAN Volume
Controller
Optimisez les données
 IBM Storwize : plateforme logicielle open
 Easy Tier : placement des données optimisé
pour une performance améliorée avec
DS8000, VSC, SVC et la famille Storwize
Optimisez la sécurité
 Chiffrement : gérez les clefs de chiffrement
des disques et des bandes avec TKLM
Services d’interfaçage avec les
serveurs et applications
Services de gestion du stockage
Optimisation et Orchestration
Gestion des
Volumes
Allocations,
Gestion des
espaces
Placement /
déplacement
des données
Protection des
données
Virtualisation du stockage physique
7
Le portefeuille IBM stockage
Solutions intégrées
PureData
Virtual Storage Center
Innovation
intégrée
Storage
Virtualization
SW et SVC
Easy Tier
Systèmes de stockage optimisés
Haut de gamme
DS8000
XIV
SONAS
FlashSystem
Real-time
Compression
IBM Active
Cloud Engine
Midrange
et entrée
de gamme
Tivoli Storage
Productivity Center
DS3500
DCS3700
Déduplication
Linear Tape
File System
(LTFS)
SmartCloud Storage Access
Tivoli Key
Lifecycle Manager
Storwize V7000
& V7000 Unified
Storwize
N series
V3700 & V5000
Logiciels
de gestion
du stockage
Tivoli Storage
FlashCopy Manager
Protection
et conservation
des données ProtecTIER
TS7610/20/50
Tape drives Tape Library
Tape
LTO 3,4,5,6
TS3310
Automation
TS3500
Tape
Virtualization
TS7740
Tivoli Storage Manager
8
Nouveautés du 8 octobre 2013
Storwize V5000
Réplication IP pour la famille Storwize
SmartCloud Storage Access en mode SAN et NAS
Nouvel algorithme de compression pour RTC
XIV Storage System encore amélioré
9
La famille IBM Storwize s’agrandit
Nouveau modèle Storwize V5000
SAN Volume
Controller
Flex System
V7000
Storwize V7000
Unified
Storwize V7000
New!
Storwize V5000
Storwize V3700
Virtualisation interne et externe
Thin provisioning
Tiering automatisé avec Easy Tier
FlashCopy
La même interface graphique
Remote mirroring
10
Réplication IP
pour toute la famille Storwize
Permet d’utiliser des connections ethernet
pour le remote mirroring
Transparent pour les serveurs
et les applications
Intègre l’optimisation réseau
de Bridgeworks SANSlide
 Réagit automatiquement aux changements
de la latence réseau
 Peut tripler l’utilisation de la bande passante
 Indépendant des types d’applications
et de données
débit
x3
Inclus dans la licence remote mirroring
sans supplément de prix
11
SmartCloud Storage Access :
le stockage SAN et NAS
en mode Cloud Privé
Utilisateur final
Self-Service : c’est un demandeur qui
initialise la requête de stockage selon
ses besoins
consommations, par utilisateur,
département…
Réactivité : la mise à disposition du
stockage (provisioning) est très rapide
car automatisée
Elasticité : les volumétries sont allouées
ou libérées selon les besoins
NAS: V7000U –SONAS
SAN: SVC - V7000 - XIV
Paiement à l’usage : comptabilité des
TPC V5.1.1
Serveur LDAP ou AD
12
Real-time Compression
Nouvel algorithme de compression LZ4
Amélioration des
performances en séquentiel : vMotion, FlashCopy, sauvegardes…
Jusqu’à 3x plus de performances pour les écritures séquentielles
15% d’amélioration des perfomances pour les lectures séquentielles
Utilise 35% moins de ressources CPU que la version 7.1 pour un workload identique
35% plus d’IOPS pour les workloads aléatoires (VMware, Oracle, DB2, MS-SQL…)
… et toujours des taux
de compression en
temps réel
impressionnants
13
Et si la Turbo Compression changeait tout ?
Booster les temps
Stocker plus Booster les IOPS de réponse
Real-time Compression
(RTC)
Effet limité
Effet limité
Stockez +
Easy Tier
et la technologie Flash
Aucun effet
Turbo Compression
[ RTC + Easy Tier + Flash ]
Stockez +
Turbo Compression
Compression
Test TPC-C Oracle
X4
[1.7% de capacité flash]
+ d’IOPS
IOs + rapides
+ d’IOPS
IOs + rapides
IOPS
X 2.1
Temps de réponse
divisés par 2
14
XIV Storage System
VMware
ESXi
Windows
2012
Efficience : support
de la fonction “Space
Reclamation”
Sécurité : chiffrement amélioré via
le serveur de clef externe IBM
Tivoli Key Lifecycle Manager
Cloud : déploiement simplifié
d’un cloud (support de la
dernière version OpenStack)
Evolutivité avec Hyper-Scale
consistency : cohérence des
snapshots entre systèmes XIV
15
XIV : idéal pour une infrastructure Cloud
 OPEX
Cloud Optimized Storage
Commodity Storage
€
 Coûts d’entrée faibles
mais inefficacité
avec la croissance
 Complexité croissante
& inefficacité pour
les besoins Cloud
et Big Data
 Moins d’administrateurs requis,
gestion simplifiée
TIME/CAPACITY
 CAPEX
€
 Moins de serveurs
et de connections réseaux
 Meilleure utilisation du stockage
 Coûts de licences logicielles
réduits
 Coûts énergétiques
et espace au sol réduits
TIME/CAPACITY
SLAs guarantis
pour tous
workloads
avec XIV
700To gérés par
½ administrateur
avec XIV
Coûts d’énergie
réduits de 50%
Admin : quelques
heures par semaine
Plus besoin de
jongler entre les
LUNs pour éviter
les hot spots
16
Les étapes vers un stockage plus intelligent
300% amélioration des performances
Pas de modifications des applications
Utilisation des serveurs améliorée
T1 (80%)
T2 (20%)
Selective Flash Placement
…5To dans 3.5 pouces d’espace rack vs. 1300
disques délivrant 400K IOPS,
Moins de 1/10ème du coût
du système de stockage précédent…
17
Les étapes vers un stockage plus intelligent
30% croissance du taux d’utilisation
Interface de gestion unique
Migration transparente
TCO réduit
Flash
T1 (80%)
Flash
T1 (30%)
T2 (70%)
Virtualize, Classify, Easy Tier
T2 (20%)
“Nous sommes passés de 35% à 82% d’utilisation. Financièrement, nous avons obtenu
des gains énormes…
Le coût de gestion de notre stockage a été réduit de 60% en 1 an.”
18
Les étapes vers un stockage plus intelligent
>50% gains d’espace de stockage
Performance améliorée
Croissance des données freinée
Flash
T1 (30%)
T2 (70%)
Compression
Flash
T1 (30%)
T2 (70%)
3.5X amélioration de la capacité de stockage disponible et coût par To réduit de
70%
FREE SPACE
19
IBM FlashSystem
Prenez une longueur d’avance avec le stockage Flash
Pierre-Jean Bochard
Sales leader IBM FlashSystem
Le disque, goulot d'étranglement dans l'IT
Evolution de la performance ces 10 dernières années




Vitesse CPU
Vitesse DRAM
Vitesse BUS
Vitesse RESEAU
 Vitesse DISQUES
x10
x10
x20
x100
IBM
x1.2
FlashSystem
x20
21
Impact de la latence
Bandes magnétiques
dans robotique
Temps d’accès : 20s
Flux séquentiels : sauvegardes
Disques SAS dans
baie de stockage
Disques SSD dans
baie de stockage
Baie de stockage
FlashSystem
5-10ms
1ms
0,1ms
Flux aléatoires : bases de données, ERP, envir. virtualisés...
4%
17%
Rendement applicatif
50%
22
Proposition de valeur FlashSystem
Performance extrême avec MicroLatency™ • Macro Efficience • Fiabilité de haut niveau
85% réduction
Temps de
traitements batch
90% réduction
Temps de
traitements OLTP
100-200 µs
Latence
Rapide MicroLatency™ minimise le temps de réponse : ~100 microsecondes
Efficient 20To, 500000 IOPS dans 1U et 350 Watts
Fiable
Haute disponibilité : Variable Stripe RAID™ et 2D Flash RAID
23
FlashSystem, une technologie disruptive
$ / IOPS
Pour un même besoin, 3 réponses très
différentes en termes de coûts à l’IOPS
et d’impact environnemental entre :
 FlashSystem (80To utiles)
 SSD + disques
 Disques
IBM
FlashSystem
Energie
2500 disques
+ 128 SSDs
5000
disques
Espace
37x moins
IBM
FlashSystem
11x moins
2500 disques
+ 128 SSDs
80x moins
5000
disques
IBM
FlashSystem
2500 disques
+ 128 SSDs
1 rack serveurs Power/FlashSystem : 1.3 millions IOPS, 43K+ transactions /seconde
5000
disques
24
Quels domaines pour la technologie FlashSystem ?
Partout où le temps a une importance : “Time is money”
OLTP
Bases de données
Infrastructures
virtualisées
Finance, gaming,
facturation temps réel, trading,
real-time monitoring,
accélération de requêtes
VDI, consolidation
d’infrastructures virtualisées
Analytique
Applications de
calcul, HPC
Simulation, modeling, rendering,
FS metadata, scratch space,
video on demand
Business intelligence,
traitement batch,
système ERP, reporting
Infrastructures
Cloud
On-demand computing,
Distribution de contenu,
web, caching, active file
management
25
IBM FlashSystem Entreprise Solution
Fonctions avancées + performances
Haut de gamme
Famille FlashSystem
DS8870
XIV
FlashSystem
Entreprise
Solution
Milieu de gamme
FlashSystem
Storwize V7000
Storwize V5000
Entrée de
gamme
Storwize V3700
Performances extrêmes
Fonctions haut de gamme





Tiering automatisé avec Easy Tier
Compression en temps réel
FlashCopy
Remote mirroring
Thin provisioning
26
FlashSystem Enterprise Solution
• Linéarité et évolutivité
• Plus d’1 million d’IOPS < 1 milliseconde
~ 1,350,000 IOPS
Latence < 1ms
27
IBM FlashSystem Entreprise Solution
Un game changer dans les nouveaux Data Centers
Client : grande banque européenne de gestion de fortune
Une architecture de stockage Tier 0 à toute épreuve
basée sur les solutions IBM leaders du marché :
SVC, N°1 des solutions de virtualisation de stockage
IBM FlashSystem, le leader du stockage Pure Flash
Pour une PUE optimale et des performances extrêmes
Détails de l’infrastructure :
 1,032 Po de capacité utile IBM FlashSystem (2 x 500To) → Tier 0
 702 To de capacité utile avec Storwize V7000 → T2, archivage en ligne
 2 x 8 noeuds SVC (VCS) sur 2 Data Centers
 Easy Tier pour une gestion intelligente des données
 Une PUE (Power Usage Effectiveness) optimale
grâce à FlashSystem et à l'option de Compression Temps Réel de SVC
28
PriceMinister : leader du e-commerce en France
Témoignage à la convention annuelle du CRIP le 19/06/2013
Retour de 3 ans d’expérience sur 2 baies Texas Memory Systems
OLTP : pb de perf. sur base Oracle de 7To
(site web de production)
 IO wait (en rose) divisés par 10
 Charge serveurs divisée par ≈3
BI : pb de perf. sur une base de 3To
(pilotage marketing et commercial)
 Temps d’alimentation BI divisé par 3
 Certains rapports d’analyse marketing
passent de 49 min à 10 sec !
• Pas de TUNING !
• Pas de ré-écriture des applicatifs
29
FlashSystem pour booster les bases Oracle
Exemple d’analyse GRATUITE des traces AWR
 Modélisation des gains de performances avec FlashSystem
 Economie / Réutilisation d’espace disque : transfert de budget
L’analyse des traces a démontré un potentiel d’amélioration des IO Wait
de 71% d’IO Wait actuel à 3% modélisés !
Soit une amélioration de 213% grace à l’utilisation de FlashSystem !
30
Merci !