TABLE DES MATIÈRES
InfiniBand et Ethernet peuvent tous deux acheminer le trafic RDMA qui relie les serveurs GPU au sein d'un cluster d'IA, et tous deux prennent en charge aujourd'hui d'importantes charges de travail d'IA. InfiniBand est une structure dédiée dotée de ses propres commutateurs et de son propre modèle de gestion, tandis qu'Ethernet achemine le trafic RDMA via le protocole RoCE sur des commutateurs Ethernet et gagne du terrain dans les réseaux back-end dédiés à l'IA.
Pour les installations à fibre optique, la différence entre InfiniBand et Ethernet est moins importante que ne le pensent de nombreux acheteurs. Dans la génération 400G de NVIDIA, les émetteurs-récepteurs d’origine fonctionnent avec l’un ou l’autre protocole, et les connecteurs MPO-12/APC, les câbles à fibre optique et les panneaux de brassage sont identiques. Cependant, toutes les références ne prennent pas en charge les deux protocoles. Nous comparons ci-dessous les deux structures de réseau, puis nous passons en revue chaque couche, de la carte réseau au panneau de brassage, afin de montrer ce qui change lorsque vous changez de protocole et ce qui reste inchangé.
InfiniBand et Ethernet (RoCE) : en quoi consistent-ils ?
InfiniBand est une architecture réseau conçue pour le calcul haute performance et l’IA. Elle dispose de ses propres commutateurs, adaptateurs et câbles, et sa spécification est rédigée par une seule association professionnelle. Ethernet est la technologie réseau polyvalente que l'on retrouve dans presque tous les centres de données. Pour l'entraînement des modèles d'IA, elle achemine le même trafic RDMA via le protocole RoCE (RDMA over Converged Ethernet). La technologie RDMA permet à un serveur de lire ou d'écrire dans la mémoire d'un autre serveur sans faire intervenir le processeur de ce dernier, ce qui accélère le transfert de données entre les GPU.
Deux organismes distincts les définissent. L’InfiniBand Trade Association (IBTA) définit et gère à la fois les spécifications InfiniBand et RoCE. La couche physique et le contrôle d'accès au support de l'Ethernet filaire sont définis par le groupe de travail IEEE 802.3, chargé de rédiger les normes Ethernet. Le RoCE est un protocole de transport standardisé qui permet à l'accès direct à la mémoire à distance (RDMA) de fonctionner sur des réseaux Ethernet classiques de couches 2 et 3 ; l'IBTA a publié sa première spécification en 2010.
Les débits InfiniBand évoluent par générations. Selon la feuille de route de l'IBTA, la technologie InfiniBand NDR à 400 Gb/s est déjà commercialisée, tandis que les produits GDR à 1,6 Tb/s sont prévus pour 2028.[1]
Une précision concernant le champ d'application : nous comparons ici le réseau de type « scale-out » qui relie les serveurs. NVLink est une interconnexion de type « scale-up » destinée à la communication entre GPU au sein d'un système à l'échelle d'un rack ; il vient donc s'ajouter à InfiniBand ou à Ethernet, sans pour autant les remplacer. Notre Guide sur les réseaux GPU explique comment les couches de « scale-up » et de « scale-out » s'articulent entre elles.
InfiniBand et Ethernet : comparatif en bref
| InfiniBand | Ethernet avec RoCE | |
|---|---|---|
| Défini par | IBTA | IEEE 802.3 pour Ethernet ; IBTA pour le transport RoCE |
| RDMA | Natif | Par le biais du RoCE |
| Perte de paquets | Conçu pour les maillages d'E/S sans perte | Le fonctionnement sans perte dépend des paramètres de contrôle de flux et de gestion de la congestion au sein de la structure |
| Gestion des tissus | Un gestionnaire de sous-réseau gère le routage | Outils standard de commutation et d'exploitation Ethernet |
| Commutateurs | Commutateurs NVIDIA Quantum InfiniBand | Plusieurs fournisseurs ; en 2024, Celestica, NVIDIA et Huawei ont dominé le marché des commutateurs Ethernet back-end pour l'IA |
| Échelle publiée | Des dizaines de milliers de nœuds dans un sous-réseau (IBTA) | Conceptions de clusters RoCE pouvant accueillir jusqu’à 32 000 GPU (Meta) |
| Cartes réseau | ConnectX-7 prend en charge l'un ou l'autre de ces protocoles | ConnectX-7 prend en charge l'un ou l'autre de ces protocoles |
| Optique et fibre optique | MPO-12/APC, monomode ou multimode | Mêmes connecteurs et mêmes fibres optiques que pour la génération 400G |
Latence et performances : pourquoi les chiffres divergent-ils ?
InfiniBand est souvent choisi pour sa faible latence, mais les affirmations selon lesquelles une structure présente une latence inférieure à une autre sont rarement comparables à parts égales. Certaines mesures portent sur des transferts de port à port via un seul commutateur, d’autres sur des transferts de bout en bout entre hôtes, et rares sont celles qui précisent si la structure était sollicitée ou encombrée. L'IBTA met en avant la latence ultra-faible d'InfiniBand, avec des délais mesurés de 600 ns de bout en bout,[1] mais il ne précise pas les conditions de test, et les résultats concernant l'Ethernet dépendent du commutateur, de la carte réseau, de la configuration et du profil de trafic.
En matière d’entraînement de l’IA, une simple valeur de latence ne veut pas dire grand-chose. Les tâches d’entraînement synchronisent sans cesse les GPU ; ainsi, l’ensemble de la tâche attend le transfert le plus lent, et une seule liaison encombrée peut devenir le goulot d’étranglement. Le débit sous charge est tout aussi important que la latence. Dans le réseau RoCE de Meta, les flux qui entraient en collision après la défaillance d’une liaison ralentissaient l’ensemble de la tâche d’entraînement, et l’objectif déclaré de ses travaux sur la congestion était d’obtenir une latence de queue prévisible. La comparaison équitable consiste à mesurer le temps d’exécution d’une tâche sur votre propre topologie, avec votre propre charge de travail. Notre Guide sur les réseaux GPU aborde les causes courantes du ralentissement du trafic lors des sessions de formation.
Ethernet ou InfiniBand : lequel convient le mieux à votre cluster d'IA ?
Ces deux technologies répondent aux mêmes besoins : l'entraînement de l'IA à grande échelle et le calcul haute performance (HPC) ; par conséquent, dans le choix entre Ethernet et InfiniBand, aucune des deux ne s'impose systématiquement. NVIDIA publie elle-même des conceptions de référence pour les deux technologies. Son architecture DGX SuperPOD H100 utilise InfiniBand pour la structure de calcul et une structure réseau InfiniBand pour le stockage, tandis que son architecture de référence d'entreprise pour le GB300 NVL72 utilise l'Ethernet Spectrum-X pour la structure de calcul.
| Si cela correspond à votre projet | Cela indique que | Pourquoi ? |
|---|---|---|
| Vous déployez une conception de référence fournie par un fournisseur telle qu'elle a été publiée | Quelles que soient les spécifications de ce projet | Les commutateurs, les câbles et leurs longueurs sont validés ensemble |
| Votre équipe utilise déjà le réseau Ethernet à grande échelle et s'approvisionne auprès de plusieurs fournisseurs | Ethernet avec RoCE | Les mêmes outils, compétences et chaîne d'approvisionnement que le reste du réseau |
| Vous recherchez une architecture conçue dès le départ pour le RDMA sans perte | InfiniBand | Moins de réglages à effectuer au niveau du contrôle du débit et de la gestion de la congestion |
| Le cluster partagera la commutation avec le trafic frontal ou le trafic de stockage | Ethernet avec RoCE | Une technologie de commutation unique pour tous les réseaux |
| Plusieurs milliers de GPU, voire davantage | Soit | Les deux ont démontré leur évolutivité dans le cadre de déploiements ou de conceptions publiés |
Le marché s'oriente vers l'Ethernet. Le Dell’Oro Group a indiqué en juillet 2025 que la technologie InfiniBand détenait plus de 80 % des réseaux back-end dédiés à l'IA lorsque son étude a débuté fin 2023, et que l'Ethernet s'impose désormais sur ce segment.[3] Il s'agit d'une prévision de marché, et non d'une décision concernant un cluster en particulier. Les deux gammes de produits sont toujours commercialisées et bénéficient d'un support technique.
Le changement de structure implique-t-il la mise en place d'un nouveau câblage à fibre optique ?
En général non, tant que vous restez dans la même génération de débit et la même interface optique. Le protocole réside dans les commutateurs et, en partie, dans le micrologiciel des émetteurs-récepteurs. Les connecteurs, la fibre optique et les panneaux de brassage sont passifs : ils assurent la transmission des données sans savoir quel protocole ils acheminent. La bande passante des ports est également identique des deux côtés dans cette génération, soit 400 Gb/s par port. Voici une illustration couche par couche de la génération 400G (100G-PAM4) de NVIDIA :
| Couche | Des changements au niveau du protocole ? | Ce qu'indique la documentation du fournisseur |
|---|---|---|
| Commutateurs | Oui | Les gammes de commutateurs NVIDIA Quantum-2 NDR InfiniBand et Spectrum-4 SN5600 Ethernet sont distinctes, mais elles utilisent toutes deux des baies OSFP à deux ports, chacune comportant deux ports de 400 Gb/s. |
| Cartes réseau | En général, non | La carte ConnectX-7 prend en charge les deux protocoles sur une même carte, ceux-ci étant activés par le commutateur InfiniBand ou Ethernet auquel elle est connectée ; certaines cartes ConnectX-6 et BlueField-2 sont spécifiques à un protocole. |
| Émetteurs-récepteurs | Vérifiez la référence de la pièce | Les émetteurs-récepteurs NDR/400 GbE d'origine prennent en charge les deux protocoles, et leur micrologiciel active le protocole du commutateur ; les versions plus récentes, exclusivement Ethernet, se terminent par “ -T ”.”[4] |
| Connecteurs | Non | MPO-12/APC : huit fibres utilisées, quatre emplacements inoccupés |
| Câbles à fibres optiques | Non | NVIDIA précise que les mêmes câbles à fibre optique sont utilisés pour ses modules NDR et ses modules optiques plus récents |
| Panneaux de raccordement et câbles de raccordement | Non | Les chiffres relatifs à la portée de ces optiques supposent la présence de deux panneaux de raccordement optiques sur la liaison |
| Câbles DAC et AOC | Vérifiez la référence de la pièce | Vérifiez que chaque élément du câble est compatible avec le commutateur et la vitesse cibles ; certains adaptateurs plus anciens nécessitent des câbles spécifiques au protocole. |
L'interface optique est définie par l'émetteur-récepteur, et non par le protocole. Ces modules optiques NVIDIA de la génération 400G illustrent ce principe :
| Partie | Format | Connecteur | Fibre | Portée |
|---|---|---|---|---|
| MMS4X00-NS | OSFP à deux ports (2 × 400G) | 2 × MPO-12/APC | Monomode, 1 310 nm | Jusqu'à 100 m |
| MMS4X00-NM | OSFP à deux ports (2 × 400G) | 2 × MPO | Monomode, 1 310 nm | Jusqu'à 500 m |
| MMA4Z00-NS | OSFP à deux ports (2 × 400G) | 2 × MPO-12/APC | Multimode, 850 nm | Jusqu'à 50 m |
| MMA1Z00-NS400 | QSFP112 (400G) | MPO-12/APC | Multimode, 850 nm | Jusqu'à 50 m |
Ce qui est conservé et ce qui ne l'est pas
Au cours d’une génération et pour une même interface optique, l’infrastructure en fibre structurée (liaisons MPO-12/APC, panneaux de brassage et cordons de raccordement) peut rester en place. Ce sont les commutateurs qui changent. Les émetteurs-récepteurs, les câbles DAC et AOC doivent faire l’objet d’une vérification des références, et les longueurs de câbles doivent être validées par rapport à la nouvelle conception de référence. La conception DGX SuperPOD H100 de NVIDIA, par exemple, limite la longueur de tout câble InfiniBand à 50 m.
Ce qui change, en revanche, c'est l'interface optique. Une liaison monomode de type DR4 et une liaison multimode de type SR4 utilisent toutes deux une interface MPO-12/APC, mais il n'est pas possible d'interchanger une fibre monomode et une fibre multimode. Notre Guide du réseau 400G répertorie les fibres nécessaires à chaque câble optique 400G, et notre Câbles de raccordement MPO/MTP couvrent les deux types de fibres.
Migration ou fonctionnement en parallèle : liste de contrôle pour le câblage
- Vérifiez chaque référence des composants de l'émetteur-récepteur. Vérifiez qu'il prend en charge le protocole souhaité ; il existe des versions exclusivement Ethernet.
- Conservez l'interface optique. Ne réutilisez la fibre optique que si la nouvelle fibre utilise le même connecteur et le même type de fibre (monomode ou multimode).
- Maintenez l'APC tout au long du traitement. Les connecteurs APC et UPC ne doivent pas être raccordés entre eux.
- Utilisez une seule méthode de polarité. Les câbles optiques directs de NVIDIA sont des câbles croisés droits de type B MPO-12/APC.
- Vérifiez à nouveau les maillots de bain que vous conservez. Mesurez la perte d'insertion et comparez-la à la limite du canal, par exemple 3,0 dB pour la norme 400GBASE-DR4.[5]
- Vérifiez à nouveau les longueurs par rapport au nouveau modèle de référence. Les limites de longueur varient selon chaque modèle.
- Préparez-vous pour la prochaine vitesse. Les châssis de commutation XDR de NVIDIA prennent également en charge les câbles et les émetteurs-récepteurs NDR, dans un souci de rétrocompatibilité. Une interface à 16 fibres, telle que la norme 800GBASE-DR8, nécessite 16 fibres par port.
Les domaines d'application de l'Ultra Ethernet
L'Ultra Ethernet Consortium (UEC) est un organisme de normalisation fondé sur le consensus, opérant sous l'égide de la Linux Foundation, qui a publié la spécification Ultra Ethernet 1.0 le 11 juin 2025.[6] Son objectif est de mieux adapter Ethernet au trafic lié à l'IA et au calcul haute performance (HPC). Il s'agit d'une nouvelle spécification dans le domaine des réseaux d'IA, qui ne constitue pas encore une alternative à InfiniBand ou à RoCE ; par conséquent, pour l'instant, les infrastructures d'IA reposent toujours sur l'une de ces deux technologies. Si vous envisagez de mettre en place une architecture réseau aujourd’hui, demandez à vos fournisseurs de commutateurs et de cartes réseau quelles fonctionnalités UEC leurs produits prennent en charge et si les modules optiques et le câblage existants sont compatibles.
Liaisons fibre optique MPO pour les clusters InfiniBand et Ethernet
Câbles de raccordement MPO/MTP: Câbles de raccordement et de liaison MPO/MTP monomodes et multimodes pour liaisons 400G et 800G. Voir les câbles MPO/MTP
Les liaisons passives décrites ci-dessus fonctionnent de la même manière, quelle que soit la structure, et ce sont celles que fournit YingFeng. Nos Câbles de raccordement MPO/MTP Disponibles en version monomode OS2 et multimode OM3 ou OM4, avec des extrémités APC ou UPC, en versions à 8, 12, 16 et 24 fibres ; des versions à faibles pertes sont disponibles. Les assemblages MPO/MTP sont fabriqués en salle blanche, et des échantillons sont disponibles sur demande. Pour les autres composants passifs, consultez notre centre de données fibre optique. Pour obtenir un devis, dites-nous les références des émetteurs-récepteurs, les longueurs de liaison et la méthode de polarité.
Questions fréquemment posées
InfiniBand utilise-t-il des câbles en cuivre ou en fibre optique ?
Les deux. Les liaisons courtes à l'intérieur d'un rack utilisent souvent des câbles en cuivre à raccordement direct, tandis que les liaisons plus longues font appel à des câbles optiques actifs ou à des émetteurs-récepteurs à fibre optique. Dans la génération 400G, les émetteurs-récepteurs utilisent des connecteurs MPO-12/APC sur de la fibre monomode ou multimode.
NVIDIA utilise-t-elle InfiniBand ou Ethernet ?
Les deux. NVIDIA commercialise des commutateurs Quantum InfiniBand et des commutateurs Spectrum Ethernet, publie des conceptions de référence pour chacun d'entre eux, et ses cartes réseau ConnectX-7 prennent en charge les deux protocoles.
Peut-on utiliser les mêmes câbles à fibre optique pour InfiniBand et Ethernet ?
Oui, au sein d'une même génération et d'une même interface optique. Les connecteurs MPO-12/APC et la fibre optique sont identiques ; il convient toutefois de vérifier si chaque émetteur-récepteur prend en charge le protocole cible. Voir Le changement de structure implique-t-il la mise en place d'un nouveau câblage à fibre optique ? pour consulter le détail complet.
Qu'est-ce que le RoCE ?
Le RoCE (RDMA over Converged Ethernet) est un protocole de transport standard, défini par l'IBTA, qui permet au RDMA de fonctionner sur des réseaux Ethernet classiques de couches 2 et 3. La première spécification a été publiée en 2010.
L'Ethernet est-il en train de remplacer l'InfiniBand ?
Dans les réseaux back-end dédiés à l'IA, l'Ethernet a rapidement gagné des parts de marché depuis fin 2023, selon le rapport de juillet 2025 du Dell’Oro Group. L'Ethernet et l'InfiniBand sont tous deux toujours commercialisés et déployés, et NVIDIA publie des conceptions de référence pour ces deux technologies.
Références externes
- Association professionnelle InfiniBand : À propos d'InfiniBand
- Gangidi et al., « RDMA sur Ethernet pour l'entraînement distribué de l'IA à très grande échelle », ACM SIGCOMM 2024 : Bibliothèque numérique de l'ACM
- Dell’Oro Group : L'Ethernet l'emporte face à l'InfiniBand dans les réseaux back-end dédiés à l'IA (communiqué de presse, 15 juillet 2025)
- NVIDIA : Câbles et émetteurs-récepteurs LinkX 400 Gb/s – Main Deck (documentation produit)
- Consortium TIA pour les technologies de la fibre optique : Présentation de l'application 400GBASE-DR4
- Consortium Ultra Ethernet : Spécification Ultra Ethernet v1.0 (11 juin 2025)