Schema che mostra uno switch InfiniBand e uno switch Ethernet collegati alla stessa fila di un pannello di permutazione in fibra MPO tramite cavi trunk MPO OS2 gialli identici e cavi di collegamento

INDICE

Sia InfiniBand che Ethernet sono in grado di trasportare il traffico RDMA che collega i server GPU all’interno di un cluster di IA ed entrambe gestiscono attualmente carichi di lavoro di IA di grandi dimensioni. InfiniBand è un fabric dedicato, dotato di switch e di un modello di gestione propri, mentre Ethernet trasporta il traffico RDMA tramite RoCE su switch Ethernet e sta guadagnando terreno nelle reti back-end dedicate all’IA.

Per gli impianti in fibra ottica, la differenza tra InfiniBand ed Ethernet è minore di quanto molti acquirenti si aspettino. Nella generazione 400G di NVIDIA, i ricetrasmettitori originali funzionano con entrambi i protocolli, e i connettori MPO-12/APC, i cavi in fibra ottica e i pannelli di permutazione sono gli stessi. Tuttavia, non tutti i codici prodotto supportano il doppio protocollo. Di seguito mettiamo a confronto le due architetture di rete, per poi esaminare, livello per livello, dalla scheda di rete al pannello di permutazione, cosa cambia quando si passa da un protocollo all’altro e cosa rimane invariato.

InfiniBand ed Ethernet (RoCE): cosa sono

InfiniBand è un’architettura di rete progettata per il calcolo ad alte prestazioni e l’intelligenza artificiale. Dispone di switch, adattatori e cavi dedicati, e le specifiche sono definite da un’unica associazione di categoria. Ethernet è la tecnologia di rete generica presente in quasi tutti i data center. Per l’addestramento dell’intelligenza artificiale, trasporta lo stesso traffico RDMA tramite RoCE, acronimo di RDMA over Converged Ethernet. L’RDMA consente a un server di leggere o scrivere nella memoria di un altro server senza coinvolgere la CPU di quest’ultimo, accelerando così il trasferimento dei dati tra le GPU.

Sono definiti da due organismi distinti. L’InfiniBand Trade Association (IBTA) definisce e gestisce sia le specifiche InfiniBand che quelle RoCE. Il livello fisico e il controllo di accesso al supporto (MAC) dell’Ethernet cablata sono definiti dal gruppo di lavoro IEEE 802.3, responsabile della stesura degli standard Ethernet. RoCE è uno standard di trasporto del settore che consente l’esecuzione del Remote Direct Memory Access (RDMA) su normali reti Ethernet di livello 2 e 3; l’IBTA ha pubblicato la sua prima specifica nel 2010.

Le velocità di InfiniBand evolvono di generazione in generazione. Secondo la roadmap dell’IBTA, l’InfiniBand NDR a 400 Gb/s è già disponibile sul mercato, mentre i prodotti GDR a 1,6 Tb/s sono previsti per il 2028.[1]

Una precisazione: mettiamo a confronto la rete di tipo “scale-out” che collega i server. NVLink è un’interconnessione di tipo “scale-up” per la comunicazione da GPU a GPU all’interno di un sistema su scala rack, quindi va ad affiancarsi a InfiniBand o Ethernet anziché sostituirle. Il nostro Guida alla rete GPU spiega come si integrano tra loro i livelli di scalabilità verticale e orizzontale.

Scalabilità verticale vs scalabilità orizzontale delle reti di cluster AI

InfiniBand ed Ethernet: una panoramica

InfiniBand Ethernet con RoCE
Definito da IBTA IEEE 802.3 per Ethernet; IBTA per il trasporto RoCE
RDMA Nativo Attraverso il RoCE
Perdita di pacchetti Progettato per fabric I/O senza perdita di dati Il funzionamento senza perdite dipende dalle impostazioni di controllo del flusso e di gestione della congestione nell'intero fabric
Gestione dei tessuti Un gestore di sottoreti si occupa dell'instradamento Strumenti standard per la gestione e il funzionamento delle reti Ethernet
Interruttori Switch NVIDIA Quantum InfiniBand Diversi fornitori; nel 2024 Celestica, NVIDIA e Huawei hanno guidato il settore dello switching Ethernet back-end per l'IA
Scala pubblicata Decine di migliaia di nodi in una sottorete (IBTA) Progetti di cluster RoCE per un massimo di 32.000 GPU (Meta)
Schede di rete ConnectX-7 supporta entrambi i protocolli ConnectX-7 supporta entrambi i protocolli
Ottica e fibre ottiche MPO-12/APC, monomodale o multimodale Stessi connettori e stessa fibra nella generazione 400G
Alcune righe richiedono un contesto. L’IBTA descrive InfiniBand come una tecnologia in grado di abilitare fabric I/O completamente ridondanti e senza perdite, con un gestore di sottoreti che provvede all’instradamento del traffico. Su Ethernet, invece, è necessario configurare una rete senza perdite. Meta, che utilizza RoCE per l’addestramento dell’IA in produzione, ha riferito che l’impostazione dei buffer ha richiesto un bilanciamento più accurato rispetto a InfiniBand a causa del controllo di flusso a grana più grossolana di RoCE. I dati relativi alla scalabilità sono di natura diversa. Il dato dell’IBTA descrive ciò che l’architettura è in grado di supportare, mentre i dati di Meta provengono dall’ambiente di produzione: progetti per cluster RoCE con un massimo di 32.000 GPU e una variante di grandi dimensioni di Llama 3 addestrata su 16.000 GPU di un cluster RoCE da 24.000 GPU.[2] Il Gruppo Dell’Oro ha indicato Celestica, NVIDIA e Huawei come leader del segmento Ethernet del mercato degli switch back-end per l’intelligenza artificiale nel 2024.

Latenza e prestazioni: perché i dati non coincidono

InfiniBand viene spesso scelto per la bassa latenza, ma le affermazioni secondo cui un fabric avrebbe una latenza inferiore rispetto a un altro raramente mettono a confronto elementi omogenei. Alcuni si riferiscono alla latenza da porta a porta attraverso un singolo switch, altri alla latenza end-to-end tra host, e pochi specificano se il fabric fosse sotto carico o congestionato. L’IBTA cita una latenza ultra-bassa per InfiniBand, con ritardi misurati di 600 ns end-to-end,[1] tuttavia non specifica le condizioni di prova, e i risultati relativi alla rete Ethernet dipendono dallo switch, dalla scheda di rete, dalla configurazione e dal modello di traffico.

Per l’addestramento dell’IA, un singolo valore di latenza dice ben poco. I processi di addestramento sincronizzano ripetutamente le GPU, quindi l’intero processo rimane in attesa del trasferimento più lento e un singolo collegamento congestionato può diventare il collo di bottiglia. La velocità effettiva sotto carico è importante tanto quanto la latenza. Nella rete RoCE di Meta, i flussi che entravano in collisione a seguito di un guasto del collegamento rallentavano l’intero processo di addestramento, e l’obiettivo dichiarato del suo lavoro sulla congestione era una latenza di coda prevedibile. Il confronto equo è il tempo di completamento del processo sulla propria topologia, con il proprio carico di lavoro. Il nostro Guida alla rete GPU tratta le cause più comuni del rallentamento del traffico durante l'addestramento.

Ethernet o InfiniBand: quale è la soluzione più adatta al tuo cluster di IA?

Entrambe le architetture sono destinate agli stessi casi d’uso, ovvero l’addestramento dell’IA su larga scala e l’HPC, quindi nella scelta tra Ethernet e InfiniBand nessuna delle due risulta vincente in ogni situazione. La stessa NVIDIA pubblica progetti di riferimento per entrambe le soluzioni. La sua architettura DGX SuperPOD H100 utilizza InfiniBand come fabric di calcolo e una rete InfiniBand anche per lo storage, mentre la sua architettura di riferimento aziendale per GB300 NVL72 utilizza Spectrum-X Ethernet come fabric di calcolo.

Se questa descrizione corrisponde al tuo progetto Indica verso Perché
Si sta implementando un progetto di riferimento del fornitore così come pubblicato Qualunque cosa sia specificata in quel progetto Gli interruttori, i cavi e le lunghezze vengono verificati insieme
Il vostro team utilizza già la rete Ethernet su larga scala e si rifornisce da diversi fornitori Ethernet con RoCE Stessi strumenti, competenze e catena di approvvigionamento del resto della rete
Ti serve un fabric progettato fin dall'inizio per supportare l'RDMA senza perdita di dati InfiniBand Meno regolazioni delle impostazioni relative al controllo del flusso e alla congestione
Il cluster condividerà lo switching con il traffico front-end o di storage Ethernet con RoCE Un'unica tecnologia di commutazione per tutte le reti
Diverse migliaia di GPU o più Oppure Entrambe hanno dimostrato scalabilità nelle implementazioni o nei progetti pubblicati

Il mercato si sta orientando verso Ethernet. Nel luglio 2025, Dell’Oro Group ha riferito che, all’inizio della propria indagine alla fine del 2023, InfiniBand deteneva oltre l’80% delle reti back-end per l’intelligenza artificiale e che ora Ethernet sta prendendo il sopravvento in quel segmento.[3] Si tratta di una previsione di mercato, non di una decisione relativa a un singolo cluster. Entrambe le linee di prodotti sono ancora in vendita e supportate.

Diagramma di flusso per la scelta tra InfiniBand ed Ethernet

Cambiare la struttura di rete comporta l'installazione di un nuovo cablaggio in fibra ottica?

In linea di massima no, purché ci si mantenga all’interno della stessa generazione di velocità e della stessa interfaccia ottica. Il protocollo risiede negli switch e, in parte, nel firmware dei ricetrasmettitori. I connettori, la fibra e i pannelli di permutazione sono passivi: gestiscono la trasmissione dei dati senza sapere quale protocollo trasportano. Anche la larghezza di banda delle porte è la stessa su entrambi i lati in questa generazione, ovvero 400 Gb/s per porta. Ecco una rappresentazione strato per strato della generazione 400G (100G-PAM4) di NVIDIA:

LivelloCi sono state modifiche al protocollo?Cosa dice la documentazione del fornitore
InterruttoriSìNVIDIA Quantum-2 NDR InfiniBand e Spectrum-4 SN5600 Ethernet sono linee di switch distinte, ma entrambe utilizzano alloggiamenti OSFP a doppia porta che ospitano due porte da 400 Gb/s
Schede di reteDi solito noConnectX-7 supporta entrambi i protocolli nella stessa scheda, attivati dallo switch InfiniBand o Ethernet a cui è collegata; alcune schede ConnectX-6 e BlueField-2 sono specifiche per un determinato protocollo
RicetrasmettitoriVerificare il codice articoloI ricetrasmettitori NDR/400GbE originali supportano entrambi i protocolli e il loro firmware abilita il protocollo dello switch; le versioni più recenti, dedicate esclusivamente a Ethernet, terminano con “-T”[4]
ConnettoriNoMPO-12/APC: otto fibre in uso, quattro posizioni libere
Cavi in fibra otticaNoNVIDIA afferma che i cavi in fibra utilizzati sono gli stessi sia per le sue soluzioni NDR che per i componenti ottici di nuova generazione
Pannelli di permutazione e cavi multipliNoI valori di portata indicati per queste ottiche presuppongono la presenza di due pannelli di connessione ottici nel collegamento
Cavi DAC e AOCVerificare il codice articoloVerificare che ogni componente del cavo sia compatibile con lo switch e la velocità desiderati; alcuni adattatori meno recenti richiedono cavi specifici per il protocollo

L'interfaccia ottica è determinata dal ricetrasmettitore, non dal protocollo. Questi componenti ottici NVIDIA della generazione 400G ne illustrano lo schema:

ParteFattore di formaConnettoreFibraPortata
MMS4X00-NSOSFP a doppia porta (2 × 400G)2 × MPO-12/APCMonomodale, 1310 nmFino a 100 m
MMS4X00-NMOSFP a doppia porta (2 × 400G)2 × MPOMonomodale, 1310 nmFino a 500 m
MMA4Z00-NSOSFP a doppia porta (2 × 400G)2 × MPO-12/APCMultimodale, 850 nmFino a 50 m
MMA1Z00-NS400QSFP112 (400G)MPO-12/APCMultimodale, 850 nmFino a 50 m

Cosa viene mantenuto e cosa no

Nel corso di una generazione e di un’interfaccia ottica, l’infrastruttura in fibra strutturata (cavi trunk MPO-12/APC, pannelli di permutazione e cavi di collegamento) può rimanere in uso. Sono gli switch a cambiare. I ricetrasmettitori, i cavi DAC e AOC richiedono una verifica del codice articolo, mentre le lunghezze dei cavi devono essere verificate in base al nuovo progetto di riferimento. Il progetto DGX SuperPOD H100 di NVIDIA, ad esempio, limita la lunghezza di qualsiasi cavo InfiniBand a 50 m.

Ciò che determina il tipo di fibra è il tipo di interfaccia ottica. Sia un collegamento monomodale di tipo DR4 che uno multimodale di tipo SR4 utilizzano l’interfaccia MPO-12/APC, ma le fibre monomodali e multimodali non possono essere scambiate tra loro. Il nostro Guida alla rete 400G elenca le fibre necessarie per ogni cavo ottico da 400G, e il nostro Cavi di collegamento MPO/MTP coprono entrambi i tipi di fibra.

Cablaggio da InfiniBand a Ethernet: quali sono le differenze?

Migrazione o funzionamento in parallelo: una lista di controllo per il cablaggio

Utilizzare questo elenco quando si trasferisce un cluster da un fabric all'altro, oppure quando una sala dati ospita entrambi:
  1. Controllare il codice articolo di ogni ricetrasmettitore. Verificare che supporti il protocollo di destinazione; esistono infatti versioni che supportano solo Ethernet.
  2. Mantenere l'interfaccia ottica. Riutilizzare la fibra solo se il nuovo cavo ottico utilizza lo stesso connettore e lo stesso tipo di fibra (monomodale o multimodale).
  3. Mantenere l'APC per tutta la durata. I connettori APC e UPC non devono essere accoppiati.
  4. Utilizzare un unico metodo di polarità. I cavi ottici diretti di NVIDIA sono cavi crossover diritti, di tipo B MPO-12/APC.
  5. Controlla nuovamente i bagagli che conservi. Misurare la perdita di inserzione e confrontarla con il limite del canale, ad esempio 3,0 dB per lo standard 400GBASE-DR4.[5]
  6. Verificare nuovamente le lunghezze rispetto al nuovo progetto di riferimento. I limiti di lunghezza variano a seconda del modello.
  7. Preparati alla prossima velocità. Gli alloggiamenti per switch XDR di NVIDIA supportano anche cavi e ricetrasmettitori NDR per garantire la retrocompatibilità. Un'interfaccia a 16 fibre, come l'800GBASE-DR8, richiede 16 fibre per porta.
Per quanto riguarda la suddivisione in zone, il conteggio delle fibre, l'etichettatura e i test di accettazione dell'impianto stesso, consultare la nostra guida su cablaggio strutturato per data center destinato a cluster di intelligenza artificiale.

Dove trova applicazione l'Ultra Ethernet

L'Ultra Ethernet Consortium (UEC) è un'organizzazione di standardizzazione basata sul consenso che opera sotto l'egida della Linux Foundation e che ha pubblicato la specifica Ultra Ethernet 1.0 l'11 giugno 2025.[6] Il suo obiettivo è rendere la rete Ethernet più adatta al traffico generato dall’intelligenza artificiale (AI) e dall’HPC. Si tratta di una nuova specifica nel campo delle reti per l’intelligenza artificiale, non ancora un’alternativa a InfiniBand o RoCE, quindi per ora l’infrastruttura AI si basa ancora su una di queste due tecnologie. Se state progettando una rete oggi, chiedete ai vostri fornitori di switch e schede di rete quali funzionalità UEC supportano i loro prodotti e se i componenti ottici e il cablaggio esistenti sono compatibili.

Collegamenti in fibra MPO per cluster InfiniBand ed Ethernet

Cavi di collegamento MPO/MTP: Cavi di collegamento e cavi di patch MPO/MTP in versione monomodale e multimodale per collegamenti a 400G e 800G. Visualizza i cavi MPO/MTP

I collegamenti passivi descritti sopra funzionano allo stesso modo con entrambe le strutture e sono proprio quelli forniti da YingFeng. I nostri Cavi di collegamento MPO/MTP Sono disponibili nelle versioni monomodali OS2 e multimodali OM3 o OM4, con estremità APC o UPC, nelle versioni a 8, 12, 16 e 24 fibre; sono disponibili anche versioni a bassa perdita. Gli assemblaggi MPO/MTP sono prodotti in camera bianca e sono disponibili campioni su richiesta. Per altri componenti passivi, consultare il nostro fibra ottica per data center. Per richiedere un preventivo, raccontaci i codici dei ricambi del ricetrasmettitore, le lunghezze dei collegamenti e il metodo di polarità.

Domande frequenti

InfiniBand è in rame o in fibra ottica?

Entrambi. I collegamenti brevi all’interno di un rack utilizzano spesso cavi in rame a collegamento diretto, mentre quelli più lunghi utilizzano cavi ottici attivi o ricetrasmettitori con fibra ottica. Nella generazione 400G, i ricetrasmettitori utilizzano connettori MPO-12/APC su fibra monomodale o multimodale.

Entrambi. NVIDIA commercializza switch Quantum InfiniBand e switch Spectrum Ethernet, pubblica progetti di riferimento per ciascuno di essi e le sue schede di rete ConnectX-7 supportano entrambi i protocolli.

Sì, all'interno della stessa generazione e della stessa interfaccia ottica. I connettori MPO-12/APC e la fibra sono gli stessi; occorre verificare se ciascun ricetrasmettitore supporti il protocollo di destinazione. Vedi Cambiare la struttura di rete comporta l'installazione di un nuovo cablaggio in fibra ottica? per il dettaglio completo.

RoCE (RDMA over Converged Ethernet) è uno standard di trasporto del settore, definito dall'IBTA, che consente l'esecuzione dell'RDMA su normali reti Ethernet di livello 2 e 3. La prima specifica è stata pubblicata nel 2010.

Nelle reti back-end per l'intelligenza artificiale, secondo il rapporto del luglio 2025 del Dell’Oro Group, Ethernet sta guadagnando rapidamente quote di mercato dalla fine del 2023. Sia Ethernet che InfiniBand continuano a essere commercializzati e implementati, e NVIDIA pubblica progetti di riferimento per entrambe le tecnologie.

Riferimenti esterni

  1. Associazione di categoria InfiniBand: Informazioni su InfiniBand
  2. Gangidi et al., “RDMA su Ethernet per l’addestramento distribuito dell’IA su scala meta”, ACM SIGCOMM 2024: ACM Digital Library
  3. Dell’Oro Group: Ethernet sta vincendo la battaglia contro InfiniBand nelle reti back-end per l'intelligenza artificiale (comunicato stampa, 15 luglio 2025)
  4. NVIDIA: Cavi e ricetrasmettitori LinkX da 400 Gb/s - Main Deck (documentazione del prodotto)
  5. Consorzio TIA per la tecnologia delle fibre ottiche: Panoramica sull'applicazione 400GBASE-DR4
  6. Consorzio Ultra Ethernet: Specifiche Ultra Ethernet v1.0 (11 giugno 2025)