Schéma illustrant un commutateur InfiniBand et un commutateur Ethernet connectés à la même rangée de panneaux de raccordement à fibre MPO à l'aide de câbles de raccordement et de cordons de raccordement MPO OS2 jaunes identiques

TABLE DES MATIÈRES

InfiniBand et Ethernet peuvent tous deux acheminer le trafic RDMA qui relie les serveurs GPU au sein d'un cluster d'IA, et tous deux prennent en charge aujourd'hui d'importantes charges de travail d'IA. InfiniBand est une structure dédiée dotée de ses propres commutateurs et de son propre modèle de gestion, tandis qu'Ethernet achemine le trafic RDMA via le protocole RoCE sur des commutateurs Ethernet et gagne du terrain dans les réseaux back-end dédiés à l'IA.

Pour les installations à fibre optique, la différence entre InfiniBand et Ethernet est moins importante que ne le pensent de nombreux acheteurs. Dans la génération 400G de NVIDIA, les émetteurs-récepteurs d’origine fonctionnent avec l’un ou l’autre protocole, et les connecteurs MPO-12/APC, les câbles à fibre optique et les panneaux de brassage sont identiques. Cependant, toutes les références ne prennent pas en charge les deux protocoles. Nous comparons ci-dessous les deux structures de réseau, puis nous passons en revue chaque couche, de la carte réseau au panneau de brassage, afin de montrer ce qui change lorsque vous changez de protocole et ce qui reste inchangé.

InfiniBand et Ethernet (RoCE) : en quoi consistent-ils ?

InfiniBand est une architecture réseau conçue pour le calcul haute performance et l’IA. Elle dispose de ses propres commutateurs, adaptateurs et câbles, et sa spécification est rédigée par une seule association professionnelle. Ethernet est la technologie réseau polyvalente que l'on retrouve dans presque tous les centres de données. Pour l'entraînement des modèles d'IA, elle achemine le même trafic RDMA via le protocole RoCE (RDMA over Converged Ethernet). La technologie RDMA permet à un serveur de lire ou d'écrire dans la mémoire d'un autre serveur sans faire intervenir le processeur de ce dernier, ce qui accélère le transfert de données entre les GPU.

Deux organismes distincts les définissent. L’InfiniBand Trade Association (IBTA) définit et gère à la fois les spécifications InfiniBand et RoCE. La couche physique et le contrôle d'accès au support de l'Ethernet filaire sont définis par le groupe de travail IEEE 802.3, chargé de rédiger les normes Ethernet. Le RoCE est un protocole de transport standardisé qui permet à l'accès direct à la mémoire à distance (RDMA) de fonctionner sur des réseaux Ethernet classiques de couches 2 et 3 ; l'IBTA a publié sa première spécification en 2010.

Les débits InfiniBand évoluent par générations. Selon la feuille de route de l'IBTA, la technologie InfiniBand NDR à 400 Gb/s est déjà commercialisée, tandis que les produits GDR à 1,6 Tb/s sont prévus pour 2028.[1]

Une précision concernant le champ d'application : nous comparons ici le réseau de type « scale-out » qui relie les serveurs. NVLink est une interconnexion de type « scale-up » destinée à la communication entre GPU au sein d'un système à l'échelle d'un rack ; il vient donc s'ajouter à InfiniBand ou à Ethernet, sans pour autant les remplacer. Notre Guide sur les réseaux GPU explique comment les couches de « scale-up » et de « scale-out » s'articulent entre elles.

Évolution verticale vs évolution horizontale du réseau de clusters d'IA

InfiniBand et Ethernet : comparatif en bref

InfiniBand Ethernet avec RoCE
Défini par IBTA IEEE 802.3 pour Ethernet ; IBTA pour le transport RoCE
RDMA Natif Par le biais du RoCE
Perte de paquets Conçu pour les maillages d'E/S sans perte Le fonctionnement sans perte dépend des paramètres de contrôle de flux et de gestion de la congestion au sein de la structure
Gestion des tissus Un gestionnaire de sous-réseau gère le routage Outils standard de commutation et d'exploitation Ethernet
Commutateurs Commutateurs NVIDIA Quantum InfiniBand Plusieurs fournisseurs ; en 2024, Celestica, NVIDIA et Huawei ont dominé le marché des commutateurs Ethernet back-end pour l'IA
Échelle publiée Des dizaines de milliers de nœuds dans un sous-réseau (IBTA) Conceptions de clusters RoCE pouvant accueillir jusqu’à 32 000 GPU (Meta)
Cartes réseau ConnectX-7 prend en charge l'un ou l'autre de ces protocoles ConnectX-7 prend en charge l'un ou l'autre de ces protocoles
Optique et fibre optique MPO-12/APC, monomode ou multimode Mêmes connecteurs et mêmes fibres optiques que pour la génération 400G
Quelques lignes nécessitent des précisions. L’IBTA décrit InfiniBand comme permettant la mise en place de structures d’E/S entièrement redondantes et sans perte, avec un gestionnaire de sous-réseau assurant le routage du trafic. Sur Ethernet, un réseau sans perte doit être configuré. Meta, qui utilise RoCE pour l’entraînement de l’IA en production, a indiqué que le réglage des tampons nécessitait un équilibrage plus minutieux que sur InfiniBand en raison du contrôle de flux plus grossier de RoCE. Les chiffres d’échelle sont de nature différente. Le chiffre de l’IBTA décrit ce que l’architecture est capable de prendre en charge, tandis que les chiffres de Meta proviennent de l’environnement de production : des conceptions pour des clusters RoCE comptant jusqu’à 32 000 GPU, et une variante à grande échelle de Llama 3 entraînée sur 16 000 GPU d’un cluster RoCE de 24 000 GPU.[2] Le groupe Dell’Oro a désigné Celestica, NVIDIA et Huawei comme les leaders du segment Ethernet du marché des commutateurs back-end pour l’IA en 2024.

Latence et performances : pourquoi les chiffres divergent-ils ?

InfiniBand est souvent choisi pour sa faible latence, mais les affirmations selon lesquelles une structure présente une latence inférieure à une autre sont rarement comparables à parts égales. Certaines mesures portent sur des transferts de port à port via un seul commutateur, d’autres sur des transferts de bout en bout entre hôtes, et rares sont celles qui précisent si la structure était sollicitée ou encombrée. L'IBTA met en avant la latence ultra-faible d'InfiniBand, avec des délais mesurés de 600 ns de bout en bout,[1] mais il ne précise pas les conditions de test, et les résultats concernant l'Ethernet dépendent du commutateur, de la carte réseau, de la configuration et du profil de trafic.

En matière d’entraînement de l’IA, une simple valeur de latence ne veut pas dire grand-chose. Les tâches d’entraînement synchronisent sans cesse les GPU ; ainsi, l’ensemble de la tâche attend le transfert le plus lent, et une seule liaison encombrée peut devenir le goulot d’étranglement. Le débit sous charge est tout aussi important que la latence. Dans le réseau RoCE de Meta, les flux qui entraient en collision après la défaillance d’une liaison ralentissaient l’ensemble de la tâche d’entraînement, et l’objectif déclaré de ses travaux sur la congestion était d’obtenir une latence de queue prévisible. La comparaison équitable consiste à mesurer le temps d’exécution d’une tâche sur votre propre topologie, avec votre propre charge de travail. Notre Guide sur les réseaux GPU aborde les causes courantes du ralentissement du trafic lors des sessions de formation.

Ethernet ou InfiniBand : lequel convient le mieux à votre cluster d'IA ?

Ces deux technologies répondent aux mêmes besoins : l'entraînement de l'IA à grande échelle et le calcul haute performance (HPC) ; par conséquent, dans le choix entre Ethernet et InfiniBand, aucune des deux ne s'impose systématiquement. NVIDIA publie elle-même des conceptions de référence pour les deux technologies. Son architecture DGX SuperPOD H100 utilise InfiniBand pour la structure de calcul et une structure réseau InfiniBand pour le stockage, tandis que son architecture de référence d'entreprise pour le GB300 NVL72 utilise l'Ethernet Spectrum-X pour la structure de calcul.

Si cela correspond à votre projet Cela indique que Pourquoi ?
Vous déployez une conception de référence fournie par un fournisseur telle qu'elle a été publiée Quelles que soient les spécifications de ce projet Les commutateurs, les câbles et leurs longueurs sont validés ensemble
Votre équipe utilise déjà le réseau Ethernet à grande échelle et s'approvisionne auprès de plusieurs fournisseurs Ethernet avec RoCE Les mêmes outils, compétences et chaîne d'approvisionnement que le reste du réseau
Vous recherchez une architecture conçue dès le départ pour le RDMA sans perte InfiniBand Moins de réglages à effectuer au niveau du contrôle du débit et de la gestion de la congestion
Le cluster partagera la commutation avec le trafic frontal ou le trafic de stockage Ethernet avec RoCE Une technologie de commutation unique pour tous les réseaux
Plusieurs milliers de GPU, voire davantage Soit Les deux ont démontré leur évolutivité dans le cadre de déploiements ou de conceptions publiés

Le marché s'oriente vers l'Ethernet. Le Dell’Oro Group a indiqué en juillet 2025 que la technologie InfiniBand détenait plus de 80 % des réseaux back-end dédiés à l'IA lorsque son étude a débuté fin 2023, et que l'Ethernet s'impose désormais sur ce segment.[3] Il s'agit d'une prévision de marché, et non d'une décision concernant un cluster en particulier. Les deux gammes de produits sont toujours commercialisées et bénéficient d'un support technique.

Organigramme d'aide à la décision : Infiniband ou Ethernet

Le changement de structure implique-t-il la mise en place d'un nouveau câblage à fibre optique ?

En général non, tant que vous restez dans la même génération de débit et la même interface optique. Le protocole réside dans les commutateurs et, en partie, dans le micrologiciel des émetteurs-récepteurs. Les connecteurs, la fibre optique et les panneaux de brassage sont passifs : ils assurent la transmission des données sans savoir quel protocole ils acheminent. La bande passante des ports est également identique des deux côtés dans cette génération, soit 400 Gb/s par port. Voici une illustration couche par couche de la génération 400G (100G-PAM4) de NVIDIA :

CoucheDes changements au niveau du protocole ?Ce qu'indique la documentation du fournisseur
CommutateursOuiLes gammes de commutateurs NVIDIA Quantum-2 NDR InfiniBand et Spectrum-4 SN5600 Ethernet sont distinctes, mais elles utilisent toutes deux des baies OSFP à deux ports, chacune comportant deux ports de 400 Gb/s.
Cartes réseauEn général, nonLa carte ConnectX-7 prend en charge les deux protocoles sur une même carte, ceux-ci étant activés par le commutateur InfiniBand ou Ethernet auquel elle est connectée ; certaines cartes ConnectX-6 et BlueField-2 sont spécifiques à un protocole.
Émetteurs-récepteursVérifiez la référence de la pièceLes émetteurs-récepteurs NDR/400 GbE d'origine prennent en charge les deux protocoles, et leur micrologiciel active le protocole du commutateur ; les versions plus récentes, exclusivement Ethernet, se terminent par “ -T ”.”[4]
ConnecteursNonMPO-12/APC : huit fibres utilisées, quatre emplacements inoccupés
Câbles à fibres optiquesNonNVIDIA précise que les mêmes câbles à fibre optique sont utilisés pour ses modules NDR et ses modules optiques plus récents
Panneaux de raccordement et câbles de raccordementNonLes chiffres relatifs à la portée de ces optiques supposent la présence de deux panneaux de raccordement optiques sur la liaison
Câbles DAC et AOCVérifiez la référence de la pièceVérifiez que chaque élément du câble est compatible avec le commutateur et la vitesse cibles ; certains adaptateurs plus anciens nécessitent des câbles spécifiques au protocole.

L'interface optique est définie par l'émetteur-récepteur, et non par le protocole. Ces modules optiques NVIDIA de la génération 400G illustrent ce principe :

PartieFormatConnecteurFibrePortée
MMS4X00-NSOSFP à deux ports (2 × 400G)2 × MPO-12/APCMonomode, 1 310 nmJusqu'à 100 m
MMS4X00-NMOSFP à deux ports (2 × 400G)2 × MPOMonomode, 1 310 nmJusqu'à 500 m
MMA4Z00-NSOSFP à deux ports (2 × 400G)2 × MPO-12/APCMultimode, 850 nmJusqu'à 50 m
MMA1Z00-NS400QSFP112 (400G)MPO-12/APCMultimode, 850 nmJusqu'à 50 m

Ce qui est conservé et ce qui ne l'est pas

Au cours d’une génération et pour une même interface optique, l’infrastructure en fibre structurée (liaisons MPO-12/APC, panneaux de brassage et cordons de raccordement) peut rester en place. Ce sont les commutateurs qui changent. Les émetteurs-récepteurs, les câbles DAC et AOC doivent faire l’objet d’une vérification des références, et les longueurs de câbles doivent être validées par rapport à la nouvelle conception de référence. La conception DGX SuperPOD H100 de NVIDIA, par exemple, limite la longueur de tout câble InfiniBand à 50 m.

Ce qui change, en revanche, c'est l'interface optique. Une liaison monomode de type DR4 et une liaison multimode de type SR4 utilisent toutes deux une interface MPO-12/APC, mais il n'est pas possible d'interchanger une fibre monomode et une fibre multimode. Notre Guide du réseau 400G répertorie les fibres nécessaires à chaque câble optique 400G, et notre Câbles de raccordement MPO/MTP couvrent les deux types de fibres.

Câblage Infiniband vers Ethernet : quels changements ?

Migration ou fonctionnement en parallèle : liste de contrôle pour le câblage

Utilisez cette liste lorsque vous transférez un cluster d'une structure à l'autre, ou lorsqu'un centre de données héberge les deux :
  1. Vérifiez chaque référence des composants de l'émetteur-récepteur. Vérifiez qu'il prend en charge le protocole souhaité ; il existe des versions exclusivement Ethernet.
  2. Conservez l'interface optique. Ne réutilisez la fibre optique que si la nouvelle fibre utilise le même connecteur et le même type de fibre (monomode ou multimode).
  3. Maintenez l'APC tout au long du traitement. Les connecteurs APC et UPC ne doivent pas être raccordés entre eux.
  4. Utilisez une seule méthode de polarité. Les câbles optiques directs de NVIDIA sont des câbles croisés droits de type B MPO-12/APC.
  5. Vérifiez à nouveau les maillots de bain que vous conservez. Mesurez la perte d'insertion et comparez-la à la limite du canal, par exemple 3,0 dB pour la norme 400GBASE-DR4.[5]
  6. Vérifiez à nouveau les longueurs par rapport au nouveau modèle de référence. Les limites de longueur varient selon chaque modèle.
  7. Préparez-vous pour la prochaine vitesse. Les châssis de commutation XDR de NVIDIA prennent également en charge les câbles et les émetteurs-récepteurs NDR, dans un souci de rétrocompatibilité. Une interface à 16 fibres, telle que la norme 800GBASE-DR8, nécessite 16 fibres par port.
Pour le zonage, le comptage des fibres, l'étiquetage et les essais de réception de l'usine elle-même, consultez notre guide consacré à Câblage structuré de centre de données pour les clusters d'IA.

Les domaines d'application de l'Ultra Ethernet

L'Ultra Ethernet Consortium (UEC) est un organisme de normalisation fondé sur le consensus, opérant sous l'égide de la Linux Foundation, qui a publié la spécification Ultra Ethernet 1.0 le 11 juin 2025.[6] Son objectif est de mieux adapter Ethernet au trafic lié à l'IA et au calcul haute performance (HPC). Il s'agit d'une nouvelle spécification dans le domaine des réseaux d'IA, qui ne constitue pas encore une alternative à InfiniBand ou à RoCE ; par conséquent, pour l'instant, les infrastructures d'IA reposent toujours sur l'une de ces deux technologies. Si vous envisagez de mettre en place une architecture réseau aujourd’hui, demandez à vos fournisseurs de commutateurs et de cartes réseau quelles fonctionnalités UEC leurs produits prennent en charge et si les modules optiques et le câblage existants sont compatibles.

Liaisons fibre optique MPO pour les clusters InfiniBand et Ethernet

Câbles de raccordement MPO/MTP: Câbles de raccordement et de liaison MPO/MTP monomodes et multimodes pour liaisons 400G et 800G. Voir les câbles MPO/MTP

Les liaisons passives décrites ci-dessus fonctionnent de la même manière, quelle que soit la structure, et ce sont celles que fournit YingFeng. Nos Câbles de raccordement MPO/MTP Disponibles en version monomode OS2 et multimode OM3 ou OM4, avec des extrémités APC ou UPC, en versions à 8, 12, 16 et 24 fibres ; des versions à faibles pertes sont disponibles. Les assemblages MPO/MTP sont fabriqués en salle blanche, et des échantillons sont disponibles sur demande. Pour les autres composants passifs, consultez notre centre de données fibre optique. Pour obtenir un devis, dites-nous les références des émetteurs-récepteurs, les longueurs de liaison et la méthode de polarité.

Questions fréquemment posées

InfiniBand utilise-t-il des câbles en cuivre ou en fibre optique ?

Les deux. Les liaisons courtes à l'intérieur d'un rack utilisent souvent des câbles en cuivre à raccordement direct, tandis que les liaisons plus longues font appel à des câbles optiques actifs ou à des émetteurs-récepteurs à fibre optique. Dans la génération 400G, les émetteurs-récepteurs utilisent des connecteurs MPO-12/APC sur de la fibre monomode ou multimode.

Les deux. NVIDIA commercialise des commutateurs Quantum InfiniBand et des commutateurs Spectrum Ethernet, publie des conceptions de référence pour chacun d'entre eux, et ses cartes réseau ConnectX-7 prennent en charge les deux protocoles.

Oui, au sein d'une même génération et d'une même interface optique. Les connecteurs MPO-12/APC et la fibre optique sont identiques ; il convient toutefois de vérifier si chaque émetteur-récepteur prend en charge le protocole cible. Voir Le changement de structure implique-t-il la mise en place d'un nouveau câblage à fibre optique ? pour consulter le détail complet.

Le RoCE (RDMA over Converged Ethernet) est un protocole de transport standard, défini par l'IBTA, qui permet au RDMA de fonctionner sur des réseaux Ethernet classiques de couches 2 et 3. La première spécification a été publiée en 2010.

Dans les réseaux back-end dédiés à l'IA, l'Ethernet a rapidement gagné des parts de marché depuis fin 2023, selon le rapport de juillet 2025 du Dell’Oro Group. L'Ethernet et l'InfiniBand sont tous deux toujours commercialisés et déployés, et NVIDIA publie des conceptions de référence pour ces deux technologies.

Références externes

  1. Association professionnelle InfiniBand : À propos d'InfiniBand
  2. Gangidi et al., « RDMA sur Ethernet pour l'entraînement distribué de l'IA à très grande échelle », ACM SIGCOMM 2024 : Bibliothèque numérique de l'ACM
  3. Dell’Oro Group : L'Ethernet l'emporte face à l'InfiniBand dans les réseaux back-end dédiés à l'IA (communiqué de presse, 15 juillet 2025)
  4. NVIDIA : Câbles et émetteurs-récepteurs LinkX 400 Gb/s – Main Deck (documentation produit)
  5. Consortium TIA pour les technologies de la fibre optique : Présentation de l'application 400GBASE-DR4
  6. Consortium Ultra Ethernet : Spécification Ultra Ethernet v1.0 (11 juin 2025)