La technologie 10 Gigabit: démarrage imminent

La technologie 10 Gigabit: démarrage
imminent !
by Christoph Neumann & Stephan Rupp
If it’s embedded, it ’s Kontron.
Whitepaper
La technologie 10 Gigabit: démarrage imminent !
L’ Ethernet haut débit promet de simplifier sensiblement la structure
des systèmes informatiques. Le 10 Gigabit Ethernet (10GbE) est
disponible dans les CPU et les contrôleurs MAC Ethernet avancés
pour sous-systèmes de traitement et de stockage. Avec des transferts
à 10 Gbit/s (10G), un même tuyau peut gérer les communications
des grappes en même temps que les communications extérieurs.
Les interfaces réseau 10G font partie de ressources partageables
par virtualisation. Composants et interfaces 10G sont entièrement
définis par des standards industriels internationaux. A présent, pour
les développeurs, se pose la question suivante : quelle technologie
choisir et quels sont les systèmes embarqués les mieux adaptés ?
Contents
10 Gigabit Technology Ready to Go. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
Contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
Le 10 Gigabit, pourquoi faire ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
La virtualisation profite du 10G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Stockage en réseau et communications interprocessus . . . . . . . . . . . . . . .4
Communications locales et distantes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Les technologies 10G embarquées. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
CompactPCI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
MicroTCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
VME et VPX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Les serveurs embarqués montés en racks. . . . . . . . . . . . . . . . . . . . . . . . . . 7
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Kontron en bref. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2
www.kontron.com
Whitepaper
Le 10 Gigabit, pourquoi faire ?
La virtualisation profite du 10G
Avec l’arrivée des CPU multicœurs dans les serveurs, les
communications interprocessus passent à 10 Gigabit/s.
Plusieurs standards ont été publiés pour ces taux de
transfert. Dès maintenant, il existe de nombreuses raisons
d’utiliser 10 Gigabit Ethernet :
Au niveau du poste de travail, la virtualisation a souvent
servi à démarrer un système d’exploitation à partir d’un autre.
Une seule machine virtuelle (VM) possède alors toutes les
ressources matérielles, sans avoir à les partager. Dans les
infrastructures de serveurs et dans les systèmes embarqués,
la virtualisation implique au contraire d’exécuter de multiples
machines virtuelles sur le même matériel.
» Les interfaces : Les interfaces sont de moins en moins
chères. Des transmetteurs SFP+, de même facteur de
forme que SFP, offrent des liaisons de cuivre passives pour
applications sensibles aux prix, sur de courtes portées
(interconnexion de châssis sur plusieurs mètres) ; ils
peuvent aussi gérer des connexions optiques sur de plus
longues distances.
» Un tuyau unique: Avec 10GbE, différentes classes de
trafic peuvent être allouées à un seul « tuyau » ou « pipe»,
et des fonctions QoS peuvent différencier les niveaux de
services. Des protocoles comme iSCSI permettent d’utiliser
la même technologie d’interface pour le stockage que pour
les communications interprocessus ou les services externes
comme le trafic web ou la Voix sur IP. Pour l’agrégation de
trafic, le 10G évite d’avoir à mettre en œuvre plusieurs liens
à 1 Gbit/s au moyen de mécanismes complexes d’agrégation
de liens.
» La virtualisation: avec les CPU multicœurs, le nombre
de machines virtuelles par processeur augmente. Les
contrôleurs MAC Ethernet 10G supportent la virtualisation,
et les interfaces réseau sont partageables entre machines
virtuelles indépendamment du matériel.
» LAN et WAN unifiés : la même technologie s’applique
aux communications locales et distantes, ce qui réduit la
complexité, diminue le câblage et augmente la fiabilité.
Des services Carrier Ethernet apportent une connectivité
Ethernet native pour les opérations à distance.
Avec les actuelles cartes d’interfaces réseau (NIC), les
ports Ethernet ne sont pas facilement partageables entre
VM parallèles. La solution typique est d’allouer les ports
Ethernet individuellement aux différentes machines virtuelles,
comme le montre le haut de la figure 1. Ce type de solution
fonctionne avec un nombre limité de VM et un nombre
suffisant de NIC, mais présente des inconvénients lorsque les
VM se multiplient :
» Le nombre de NIC doit suivre celui des VM, ce qui augmente
les coûts, l’espace nécessaire et le câblage, sans parler des
corvées de configuration et de maintenance.
» L’hyperviseur, chargé du trafic entre VM, se transforme en
commutateur Ethernet multiport ; une alternative est de faire
passer le trafic entre VM par des interfaces réseau externes
Ce scénario n’est pas exagéré : les machines virtuelles sont
de plus en plus utilisées dans l’embarqué pour encapsuler
des travaux parallèles. Les CPU quadri-cœurs, couramment
rencontrés, supportent aisément 4 à 8 VM par cœur. Comme
le montre le bas de la figure 1, cela donne plus de 16 ports
réseau. De plus, le CPU peut gérer des trafics dépassant 1
Gigabit, ce qui nécessite de multiples ports 1 GbE par VM.
Les NIC 10G qui supportent la virtualisation résolvent de
nombreux problèmes, et permettent notamment de partager
les ports 10GbE entre VM sans agrégation de liens. Plus
Figure 1 : Allocation d’interfaces réseau aux machines virtuelles
3
www.kontron.com
Whitepaper
important encore, le trafic entre VM est géré au sein du NIC,
sans impact sur l’hyperviseur.
Stockage en réseau et
communications interprocessus
Dans les sites clients, l’infrastructure IT dessert une variété
d’applications ; qu’il s’agisse de communication d’entreprise,
de gérance informatique, de technologie de processus ou
de centre de calcul, la structure générale est similaire
(figure 2). Les serveurs frontaux gèrent la connectivité avec
d’autres sites locaux ou distants, et se chargent du filtrage
de sécurité et la distribution du trafic. Au second niveau, les
serveurs d’application assurent les traitements. Un troisième
niveau gère le stockage et la sauvegarde sécurisée des
données persistantes.
Une grande diversité de technologies est mise en œuvre
aujourd’hui. L’interconnexion par réseau local avec des
postes clients ou d’autres sites est principalement fournie
par Ethernet, mais les liaisons distantes sont assurées
par une variété d’interfaces de télécommunication (RNIS,
lignes louées ou xDSL). Les communications entre serveurs
(communications inter processus) exigent des connexions
haut débit utilisant notamment Infiniband, des liens
GbE agrégés ou des solutions propriétaires. Les réseaux
de stockage NAS aussi bien que SAN se connectent via
Fibre Channel. Bien que chacune de ces solutions ait ses
avantages, il en résulte un environnement multiforme,
avec des configurations complexes, qui exige de multiples
compétences.
10GbE élimine le goulot d’étranglement introduit dans les
réseaux de serveurs et de stockage par les technologies
Ethernet de précédente génération, et permet de placer
une diversité d’applications sur une seule plate-forme
technologique. Pour l’interconnexion des serveurs, 10GbE est
à la hauteur des vitesses des CPU actuels. Pour le stockage,
le standard iSCSI est à la base d’infrastructures comparables
à Fibre Channel, qui ne nécessitent pas de commutateurs
ni d’environnement logiciel spécifiques. De plus, le 10GbE
est suffisamment rapide pour supporter les protocoles Fibre
Channel natifs sur Ethernet (FCoE).
L’architecture des réseaux informatiques s’en trouve simplifiée.
La réduction de la complexité se traduit en réduction
des coûts, car le nombre de composants diminue et les
compétences techniques se concentrent ailleurs, ce qui
minimise les coûts d’exploitation. Certaines architectures
de serveurs donnent la possibilité d’insérer plusieurs lames
processeurs dans un seul châssis, qui peut aussi contenir des
commutateurs 10GbE. De tels systèmes utilisent beaucoup
moins d’espace et de câbles car la connectivité Ethernet passe
par le fond de panier. Les cartes embarquées conçues pour
ces architectures ont des processeurs basse consommation et
réduisent le coût total de possession en diminuant les coûts
d’exploitation.
Il existe des standards internationaux pour l’interconnexion de
serveurs et d’unités de stockage par Ethernet : iSCSI, standard
IETF publié en 2003, définit l’encapsulation de messages SCSI
dans des trames Ethernet transportées par TCP/IP, s’appuyant
ainsi sur des bases mondialement éprouvées sur l’Internet.
WAN et LAN
GbE
Site client
Serveurs
frontaux
WAN et LAN
Site client
10GbE
Serveurs
frontaux
IPC (Infiniband, GbE agrégé ...)
Serveurs
d’applicatin
IPC (10GbE)
Serveurs
d’applicatin
NAS/SAN (Fibre Channel, iSCSI, ...)
NAS/SAN (10GbE)
Serveurs de
stockage
Serveurs de
stockage
Aujourd’hui : une diversité de réseaux
Demain : Une seule technologie de réseau
Figure 2 : Un seul tuyau – Moins de coûts et de complexité
4
www.kontron.com
Whitepaper
Dans les réseaux de stockage, iSCSI permet aux NIC 10GbE
de fonctionner comme des contrôleurs SAN. Il devient
possible, sans matériel spécifique, de partager par réseau IP
des systèmes de stockage tels que des réseaux RAID ou des
serveurs de sauvegarde.
Communications locales et distantes
Technologie traditionnelle des réseaux locaux, Ethernet
prend de l’ampleur dans les communications distantes. Les
connexions entre deux sites d’une entreprise (sites clients)
ou vers des clients distants passent habituellement par
des réseaux publics gérés par des opérateurs télécoms,
qui emploient une variété d’interfaces, que ce soit pour la
connectivité mobile (GSM, UMTS ou points d’accès WiFi),
ou pour les lignes fixes (RNIS, xDSL ou lignes louées).
Cependant, face à la demande croissante de la clientèle
d’entreprise exigeant de plus hauts débits, de nombreux
opérateurs offrent à présent des services Carrier Ethernet
: il s’agit d’une connectivité Ethernet native à différentes
vitesses, avec garantie de disponibilité et de qualité de
service en fonction des niveaux de service. Bien que les
vitesses de plus de 100 Mbit/s nécessitent une liaison
par fibre optique sur le site client, et restent aujourd’hui
l’exception, l’offre en liens Ethernet haut débit augmente.
Du point de vue du client d’entreprise, avec Carrier Ethernet,
les liaisons Ethernet natives s’étendent aux réseaux WAN,
et peuvent transporter des services Ethernet locaux vers
des sites distants. Carrier Ethernet procure en outre une
connexion fiable vis-à-vis des temps d’indisponibilité et
du trafic. La figure 3 montre l’organisation entre les sites
clients et les réseaux WAN publics. Entre deux sites clients,
la connectivité Ethernet est transparente, comme une
connexion par réseau local.
LAN
Equipement
de site client
Derrière la technologie Carrier Ethernet se cache une activité
considérable de standardisation, menée par les principaux
fournisseurs d’équipements et opérateurs télécoms. L’une
des organisations les plus en vue est le MEF (Metro Ethernet
Forum). Cette activité couvre un vaste éventail de standards
IETF, IEEE et ITU. Le MEF veille à l’interopérabilité des
équipements Carrier Ethernet certifiés è travers les réseaux
publics et les réseaux locaux.
A un niveau inférieur de connectivité, les progrès
technologiques sont considérables. En juste cinq ans, la taille
des connecteurs et la consommation des modules émetteurs/
récepteurs pour fibres optiques ou liaisons de cuivre n’ont
cessé de se réduire, passant des formats XENPAK à XFP puis
SFP+. La figure 4 montre cette évolution. En conséquence,
les nouveaux transmetteurs haut débit SFP+ 10GbE sont
facilement intégrés dans les produits embarqués. Leur petit
facteur de forme rend possible une haute densité d’interfaces
et une faible consommation par port (moins de 1 watt).
Les nouveaux facteurs de forme facilitent aussi
considérablement le câblages 10G. Les transmetteurs
SFP+ existent en versions Direct Attach, pré-configurées
avec des câbles de cuivre ou optiques. Les câble de cuivre
passifs couvrent des distances allant jusqu’à 7 mètres sans
consommation de puissance. Ces câbles, configurés en usine
avec des connecteurs SFP+ à chaque bout, sont basés sur
deux paires parallèles blindées (câbles Twinax). Les câbles
optiques couvrent respectivement jusqu’à 300 m à 850 nm
selon la spécification LRM pour fibre multimode longue portée
; et jusqu’à 10 km à 1350 nm selon la spécification LR pour
fibre longue portée.
WAN (réseau public de télécommunications)
Routeur de
bordure
Routeur de
coeur
Serveur
d’application
Site client 1
Connexion Ethernet
Virtuelle
Réseau
Carrier Ethernet
Internet
Figure 3 Carrier Ethernet et la connectivité longue distance
5
www.kontron.com
Whitepaper
Standards 10GbE
2010
Direct Attach
(électriques et optiques)
CompactPCI. Pour les environnements durcis, des connecteurs
M12 commencent à être disponibles, pour le 1G comme pour
le 10G.
SFF-8431 SFP+
2008
IEEE 802.3aq LRM
2006
IEEE 802.3an 10 GBASE-T
Transmetteurs
10 GbE
2005
2002
IEEE 802.3ak CX4
IEEE 802.3ae
SR/LR/ER/LX4
Figure 4 - Evolution of 10G InterfacesTous les formats
Tous les formats 10G sont des standards de l’industrie. La
norme initiale définissant les liaisons Ethernet à 10 Gbit/s a
été publiée en 2002 en tant que standard IEEE 802.3ae. Les
extensions SR, LR, ER et L4 de la même année définissent
des connexions à fibre optique. En 2004, l’extension 802.
ak-CX4 a spécifié l’utilisation d’un câble de cuivre twinaxial
(câble InfiniBand). Le câble de cuivre à paire torsadée
10GBASE-T a été spécifié en 2006 en tant que 802.3an.
En 2007, sont arrivées deux extensions supplémentaires :
802.3ap-KR pour les fonds de panier série, et 802.aq-LRM
pour les câbles optiques. Le facteur de forme SFP+ est
défini dans la spécification SFF-8431 du comité SFF, groupe
industriel se préoccupant de petits facteurs de forme et
incluant les principaux fabricants TIC.
Les technologies 10G embarquées
Le 10G existe depuis quelque temps dans les serveurs
embarqués tels que AdvancedTCA, qui sont d’ailleurs en
train d’évoluer vers 40G. Aujourd’hui, le 10G arrive dans
des formats de serveurs ayant de plus faibles budgets
thermique et une moindre consommation de puissance, dont
CompactPCI, MicroTCA, VME et VPX, ainsi que des serveurs
embarqués montés en racks.
CompactPCI
Le fond de panier CompactPCI supporte des liaisons GbE
avec la spécification PICMG 2.16. Bien qu’une vitesse de
1 Gbit/s soit suffisante pour de nombreuses applications
embarquées, elle n’est pas cohérente avec la dernière
génération de lames processeurs CompactPCI, capables de
gérer des trafics de 10 Gbit/s. Dans un châssis CompactPCI,
le fond de panier génère un goulot d’étranglement. Ce
problème peut être résolu par un câblage en face avant,
comme le montre la figure 5. Il est possible de placer sur la
lame processeur une carte mezzanine fournissant deux liens
10GbE sur une connectique SFP+. Ces liens 10G pourront
être reliés par un câblage 10G standard. Dans les systèmes
multiprocesseurs, les câbles Ethernet sortant en face avant
rejoindront typiquement un commutateur 10G Ethernet.
La solution la plus compacte consistera tout simplement
à placer ce commutateur directement dans le système
6
Figure 5 : Le 10G arrive dans les systèmes CompactPCI
MicroTCA
Comme CompactPCI, MicroTCA est un standard du PICMG
pour systèmes embarqués. Sur le fond de panier MicroTCA,
l’architecture de bus parallèle traditionnelle disparaît
entièrement au profit des interfaces série. Le connecteur
AMC fournit 21 ports, utilisables pour des liens haut débit
à 2,5 Gbit/s chacun. Ce qui donne largement la capacité
d’implanter des matrices comme 10GbE, PCI Express, Serial
RapidIO, SATA ou autres. MicroTCA utilise un réseau 1GbE
comme infrastructure de communication de base entre
cartes sur le fond de panier. Il est possible d’implanter aussi
des matrices de commutation additionnelles. 10GbE est
actuellement implémenté sur le fond de panier sur 4 voies
(lanes) à 2,5 Gbit/s, en utilisant l’interface XAUI, selon la
norme 802.3ap -KX4. Les futures implémentations atteindront
10 Gbit/s par voie selon la norme 802.3ap -KR. Des fonds
de panier 10G existent depuis quelques temps. Ce marché
recevra une nouvelle impulsion avec l’arrivée de la prochaine
génération de lames processeurs de format AMC. Le facteur
de forme double largeur (4U) autorise un budget thermique
de 80 watts par AMC. Ce qui permet d’implémenter des cartes
CPU quadri-cœurs dans les applications MicroTCA, pour
combiner une conception système très compacte et modulaire
avec une puissance de calcul fortement parallélisée.
2 x 10GbE
Système
MicroTCA
OM7090D
MCH 10G AM4910
Carte processeur Intel Core i7 AM5030
Figure 6 MicroTCA passe à grande vitesse
www.kontron.com
Whitepaper
VME et VPX
Standard de facto d’un grand nombre d’applications
militaires, l’architecture 6U VME a adopté Gigabit Ethernet
sur fond de panier avec succès, grâce à la spécification
VITA 31.1. L’exploitation d’une base commune avec
l’infrastructure de réseau CompactPCI, via les commutateurs
6U CompactPCI, va permettre aux ordinateurs VME d’offrir
la même voie de migration vers 10 Gigabit Ethernet, en
utilisant les solutions communes de cartes commutateurs
10G et de mezzanines XMC 10G. Ces produits sont déjà
supportés sur des cartes CPU d’architecture x86, ainsi
que sur des monocartes basées sur le processeur PowerPC
Altivec. Ces cartes CPU étant compatibles avec le logiciel
applicatif existant, VME met une fois de plus en œuvre une
stratégie réussie d’adoption d’un nouveau standard, en
évitant d’abandonner sa vaste infrastructure, qui représente
tant d’années de développement.
Conçu dés le départ pour les interfaces série haut débit,
offrant jusqu’à 6,25 Gbit/s par voie avec 3% maximum
d’atténuation de diaphonie, VPX est bien préparé au MultiGbE et autres technologies PCI Express, SATA et Serial
RapidIO. Avec un total de 464 contacts signaux pour les
cartes 6U et de 280 contacts signaux pour les cartes 3U,
VPX offre assez de capacité pour des voies « fat pipe »
encore plus rapides, qui ne sont pas nécessairement encore
envisagées aujourd’hui.
Figure 7: Le 10G arrive dans les systèmes VME
Les serveurs embarqués montés en racks
L’implémentation de 10GbE se fait habituellement via des
cartes d’extension à bus PCI Express. Les serveurs embarqués
montés en racks sont typiquement basés sur des cartes
mères ou sur des formats PICMG 1.x, avec une carte hôte
système et un fond de panier spécifique de l’application
7
doté de multiples slots d’extension PCI et PCI express.
Dans ces deux architectures, il est facile d’implanter des
NIC PCIe standard pour ajouter des interfaces 10G Ethernet
en parallèle avec les ports 1GbE de la carte système. Des
cartes d’extension bas profil sont déjà disponibles, pour
implémenter 10GbE jusque dans des systèmes 2U d’espace
limité.
Serveur de réseau 2U
à double CPU Intel
Xeon quadri-coeur
PC industriel 2U
Intel Core 2 KISS
Figure 8: Serveurs embarqués à monter en rack
Conclusion
Depuis plus de 25 ans, Ethernet a fait la preuve de
sa capacité à s’adapter aux exigences croissantes des
réseaux informatiques, tout en gardant un faible coût
d’implémentation, une grande facilité d’installation et
une haute fiabilité. Ces qualités ont rendu ce standard
populaire au point d’être à l’origine et au point terminal
de pratiquement tous les trafics de données, et d’être entré
dans plusieurs marchés verticaux tels que les marchés
militaire, du médical et de l’automatisation. 10GbE
représente la prochaine évolution dans la simplification
des grands systèmes informatiques. Grâce à l’encapsulation
des protocoles et aux approches « x-over-Ethernet », une
grande diversité d’applications peut prendre place sur une
seule plate-forme technologique, ce qui aide à réduire les
efforts de développement, minimiser le temps de mise sur
le marché et améliorer l’interopérabilité. Et maintenant,
10GbE arrive dans les plates-formes embarquées
comme CompactPCI, MicroTCA et VME/VPX, pour les
communications intra et inter systèmes. En tenant compte
de tout cela, il est clair que le 10G Ethernet s’apprête
à devenir le prochain vrai standard des technologies de
réseau.
www.kontron.com
Whitepaper
Kontron développe et produit des solutions embarquées et de communication reposant sur
des produits standards et à la demande pour des OEM, des intégrateurs de systèmes et des
fournisseurs d’applications dans une diversité de marchés. Les sites d’ingénierie et de production
de Kontron, répartis en Europe, en Amérique du Nord et dans la zone Asie-Pacifique, collaborent
avec les vendeurs et le support globaux afin d’aider nos clients à réduire le temps de mise sur le
marché et à obtenir ainsi un avantage compétitif.
Le large catalogue diversifié de produits Kontron inclut : cartes et modules enfichables,
Computer-on-Modules, IHM et écrans, systèmes et solutions sur mesure. Kontron est un membre
Premium de l’Alliance Intel® Embedded & Communications.
La société a été honorée à trois reprises ces dernières années du titre de vendeur VDC Platinum
for Embedded Computer Boards. Kontron est coté à la bourse allemande TecDAX sous le symbole
"KBC".
Pour plus d’informations, rendez-vous sur: www.kontron.com
Corporate Offices
Europe, Middle East & Africa
North America
Asia Pacific
Oskar-von-Miller-Str. 1
85386 Eching/Munich
Germany
14118 Stowe Drive
Poway, CA 92064-7147
USA
17 Building,Block #1,ABP.
188 Southern West 4th Ring Road
Beijing 100070, P.R.China
Tel.: +49 (0)8165/ 77 777
Fax: +49 (0)8165/ 77 219
Tel.: +1 888 294 4558
Fax: +1 858 677 0898
Tel.: + 86 10 63751188
Fax: + 86 10 83682438
[email protected]
[email protected]
[email protected]
8
www.kontron.com
#Whitepaper - 10 Gigabit Technology Ready to Go# 06232010RIM
All data is for information purposes only and not guaranteed for legal purposes. Subject to change without notice. Information in this datasheet has been carefully checked and is
believed to be accurate; however, no responsibility is assumed for inaccurancies. All brand or product names are trademarks or registered trademarks of their respective owners.
Kontron en bref