INDICE
Sia InfiniBand che Ethernet sono in grado di trasportare il traffico RDMA che collega i server GPU all’interno di un cluster di IA ed entrambe gestiscono attualmente carichi di lavoro di IA di grandi dimensioni. InfiniBand è un fabric dedicato, dotato di switch e di un modello di gestione propri, mentre Ethernet trasporta il traffico RDMA tramite RoCE su switch Ethernet e sta guadagnando terreno nelle reti back-end dedicate all’IA.
Per gli impianti in fibra ottica, la differenza tra InfiniBand ed Ethernet è minore di quanto molti acquirenti si aspettino. Nella generazione 400G di NVIDIA, i ricetrasmettitori originali funzionano con entrambi i protocolli, e i connettori MPO-12/APC, i cavi in fibra ottica e i pannelli di permutazione sono gli stessi. Tuttavia, non tutti i codici prodotto supportano il doppio protocollo. Di seguito mettiamo a confronto le due architetture di rete, per poi esaminare, livello per livello, dalla scheda di rete al pannello di permutazione, cosa cambia quando si passa da un protocollo all’altro e cosa rimane invariato.
InfiniBand ed Ethernet (RoCE): cosa sono
InfiniBand è un’architettura di rete progettata per il calcolo ad alte prestazioni e l’intelligenza artificiale. Dispone di switch, adattatori e cavi dedicati, e le specifiche sono definite da un’unica associazione di categoria. Ethernet è la tecnologia di rete generica presente in quasi tutti i data center. Per l’addestramento dell’intelligenza artificiale, trasporta lo stesso traffico RDMA tramite RoCE, acronimo di RDMA over Converged Ethernet. L’RDMA consente a un server di leggere o scrivere nella memoria di un altro server senza coinvolgere la CPU di quest’ultimo, accelerando così il trasferimento dei dati tra le GPU.
Sono definiti da due organismi distinti. L’InfiniBand Trade Association (IBTA) definisce e gestisce sia le specifiche InfiniBand che quelle RoCE. Il livello fisico e il controllo di accesso al supporto (MAC) dell’Ethernet cablata sono definiti dal gruppo di lavoro IEEE 802.3, responsabile della stesura degli standard Ethernet. RoCE è uno standard di trasporto del settore che consente l’esecuzione del Remote Direct Memory Access (RDMA) su normali reti Ethernet di livello 2 e 3; l’IBTA ha pubblicato la sua prima specifica nel 2010.
Le velocità di InfiniBand evolvono di generazione in generazione. Secondo la roadmap dell’IBTA, l’InfiniBand NDR a 400 Gb/s è già disponibile sul mercato, mentre i prodotti GDR a 1,6 Tb/s sono previsti per il 2028.[1]
Una precisazione: mettiamo a confronto la rete di tipo “scale-out” che collega i server. NVLink è un’interconnessione di tipo “scale-up” per la comunicazione da GPU a GPU all’interno di un sistema su scala rack, quindi va ad affiancarsi a InfiniBand o Ethernet anziché sostituirle. Il nostro Guida alla rete GPU spiega come si integrano tra loro i livelli di scalabilità verticale e orizzontale.
InfiniBand ed Ethernet: una panoramica
| InfiniBand | Ethernet con RoCE | |
|---|---|---|
| Definito da | IBTA | IEEE 802.3 per Ethernet; IBTA per il trasporto RoCE |
| RDMA | Nativo | Attraverso il RoCE |
| Perdita di pacchetti | Progettato per fabric I/O senza perdita di dati | Il funzionamento senza perdite dipende dalle impostazioni di controllo del flusso e di gestione della congestione nell'intero fabric |
| Gestione dei tessuti | Un gestore di sottoreti si occupa dell'instradamento | Strumenti standard per la gestione e il funzionamento delle reti Ethernet |
| Interruttori | Switch NVIDIA Quantum InfiniBand | Diversi fornitori; nel 2024 Celestica, NVIDIA e Huawei hanno guidato il settore dello switching Ethernet back-end per l'IA |
| Scala pubblicata | Decine di migliaia di nodi in una sottorete (IBTA) | Progetti di cluster RoCE per un massimo di 32.000 GPU (Meta) |
| Schede di rete | ConnectX-7 supporta entrambi i protocolli | ConnectX-7 supporta entrambi i protocolli |
| Ottica e fibre ottiche | MPO-12/APC, monomodale o multimodale | Stessi connettori e stessa fibra nella generazione 400G |
Latenza e prestazioni: perché i dati non coincidono
InfiniBand viene spesso scelto per la bassa latenza, ma le affermazioni secondo cui un fabric avrebbe una latenza inferiore rispetto a un altro raramente mettono a confronto elementi omogenei. Alcuni si riferiscono alla latenza da porta a porta attraverso un singolo switch, altri alla latenza end-to-end tra host, e pochi specificano se il fabric fosse sotto carico o congestionato. L’IBTA cita una latenza ultra-bassa per InfiniBand, con ritardi misurati di 600 ns end-to-end,[1] tuttavia non specifica le condizioni di prova, e i risultati relativi alla rete Ethernet dipendono dallo switch, dalla scheda di rete, dalla configurazione e dal modello di traffico.
Per l’addestramento dell’IA, un singolo valore di latenza dice ben poco. I processi di addestramento sincronizzano ripetutamente le GPU, quindi l’intero processo rimane in attesa del trasferimento più lento e un singolo collegamento congestionato può diventare il collo di bottiglia. La velocità effettiva sotto carico è importante tanto quanto la latenza. Nella rete RoCE di Meta, i flussi che entravano in collisione a seguito di un guasto del collegamento rallentavano l’intero processo di addestramento, e l’obiettivo dichiarato del suo lavoro sulla congestione era una latenza di coda prevedibile. Il confronto equo è il tempo di completamento del processo sulla propria topologia, con il proprio carico di lavoro. Il nostro Guida alla rete GPU tratta le cause più comuni del rallentamento del traffico durante l'addestramento.
Ethernet o InfiniBand: quale è la soluzione più adatta al tuo cluster di IA?
Entrambe le architetture sono destinate agli stessi casi d’uso, ovvero l’addestramento dell’IA su larga scala e l’HPC, quindi nella scelta tra Ethernet e InfiniBand nessuna delle due risulta vincente in ogni situazione. La stessa NVIDIA pubblica progetti di riferimento per entrambe le soluzioni. La sua architettura DGX SuperPOD H100 utilizza InfiniBand come fabric di calcolo e una rete InfiniBand anche per lo storage, mentre la sua architettura di riferimento aziendale per GB300 NVL72 utilizza Spectrum-X Ethernet come fabric di calcolo.
| Se questa descrizione corrisponde al tuo progetto | Indica verso | Perché |
|---|---|---|
| Si sta implementando un progetto di riferimento del fornitore così come pubblicato | Qualunque cosa sia specificata in quel progetto | Gli interruttori, i cavi e le lunghezze vengono verificati insieme |
| Il vostro team utilizza già la rete Ethernet su larga scala e si rifornisce da diversi fornitori | Ethernet con RoCE | Stessi strumenti, competenze e catena di approvvigionamento del resto della rete |
| Ti serve un fabric progettato fin dall'inizio per supportare l'RDMA senza perdita di dati | InfiniBand | Meno regolazioni delle impostazioni relative al controllo del flusso e alla congestione |
| Il cluster condividerà lo switching con il traffico front-end o di storage | Ethernet con RoCE | Un'unica tecnologia di commutazione per tutte le reti |
| Diverse migliaia di GPU o più | Oppure | Entrambe hanno dimostrato scalabilità nelle implementazioni o nei progetti pubblicati |
Il mercato si sta orientando verso Ethernet. Nel luglio 2025, Dell’Oro Group ha riferito che, all’inizio della propria indagine alla fine del 2023, InfiniBand deteneva oltre l’80% delle reti back-end per l’intelligenza artificiale e che ora Ethernet sta prendendo il sopravvento in quel segmento.[3] Si tratta di una previsione di mercato, non di una decisione relativa a un singolo cluster. Entrambe le linee di prodotti sono ancora in vendita e supportate.
Cambiare la struttura di rete comporta l'installazione di un nuovo cablaggio in fibra ottica?
In linea di massima no, purché ci si mantenga all’interno della stessa generazione di velocità e della stessa interfaccia ottica. Il protocollo risiede negli switch e, in parte, nel firmware dei ricetrasmettitori. I connettori, la fibra e i pannelli di permutazione sono passivi: gestiscono la trasmissione dei dati senza sapere quale protocollo trasportano. Anche la larghezza di banda delle porte è la stessa su entrambi i lati in questa generazione, ovvero 400 Gb/s per porta. Ecco una rappresentazione strato per strato della generazione 400G (100G-PAM4) di NVIDIA:
| Livello | Ci sono state modifiche al protocollo? | Cosa dice la documentazione del fornitore |
|---|---|---|
| Interruttori | Sì | NVIDIA Quantum-2 NDR InfiniBand e Spectrum-4 SN5600 Ethernet sono linee di switch distinte, ma entrambe utilizzano alloggiamenti OSFP a doppia porta che ospitano due porte da 400 Gb/s |
| Schede di rete | Di solito no | ConnectX-7 supporta entrambi i protocolli nella stessa scheda, attivati dallo switch InfiniBand o Ethernet a cui è collegata; alcune schede ConnectX-6 e BlueField-2 sono specifiche per un determinato protocollo |
| Ricetrasmettitori | Verificare il codice articolo | I ricetrasmettitori NDR/400GbE originali supportano entrambi i protocolli e il loro firmware abilita il protocollo dello switch; le versioni più recenti, dedicate esclusivamente a Ethernet, terminano con “-T”[4] |
| Connettori | No | MPO-12/APC: otto fibre in uso, quattro posizioni libere |
| Cavi in fibra ottica | No | NVIDIA afferma che i cavi in fibra utilizzati sono gli stessi sia per le sue soluzioni NDR che per i componenti ottici di nuova generazione |
| Pannelli di permutazione e cavi multipli | No | I valori di portata indicati per queste ottiche presuppongono la presenza di due pannelli di connessione ottici nel collegamento |
| Cavi DAC e AOC | Verificare il codice articolo | Verificare che ogni componente del cavo sia compatibile con lo switch e la velocità desiderati; alcuni adattatori meno recenti richiedono cavi specifici per il protocollo |
L'interfaccia ottica è determinata dal ricetrasmettitore, non dal protocollo. Questi componenti ottici NVIDIA della generazione 400G ne illustrano lo schema:
| Parte | Fattore di forma | Connettore | Fibra | Portata |
|---|---|---|---|---|
| MMS4X00-NS | OSFP a doppia porta (2 × 400G) | 2 × MPO-12/APC | Monomodale, 1310 nm | Fino a 100 m |
| MMS4X00-NM | OSFP a doppia porta (2 × 400G) | 2 × MPO | Monomodale, 1310 nm | Fino a 500 m |
| MMA4Z00-NS | OSFP a doppia porta (2 × 400G) | 2 × MPO-12/APC | Multimodale, 850 nm | Fino a 50 m |
| MMA1Z00-NS400 | QSFP112 (400G) | MPO-12/APC | Multimodale, 850 nm | Fino a 50 m |
Cosa viene mantenuto e cosa no
Nel corso di una generazione e di un’interfaccia ottica, l’infrastruttura in fibra strutturata (cavi trunk MPO-12/APC, pannelli di permutazione e cavi di collegamento) può rimanere in uso. Sono gli switch a cambiare. I ricetrasmettitori, i cavi DAC e AOC richiedono una verifica del codice articolo, mentre le lunghezze dei cavi devono essere verificate in base al nuovo progetto di riferimento. Il progetto DGX SuperPOD H100 di NVIDIA, ad esempio, limita la lunghezza di qualsiasi cavo InfiniBand a 50 m.
Ciò che determina il tipo di fibra è il tipo di interfaccia ottica. Sia un collegamento monomodale di tipo DR4 che uno multimodale di tipo SR4 utilizzano l’interfaccia MPO-12/APC, ma le fibre monomodali e multimodali non possono essere scambiate tra loro. Il nostro Guida alla rete 400G elenca le fibre necessarie per ogni cavo ottico da 400G, e il nostro Cavi di collegamento MPO/MTP coprono entrambi i tipi di fibra.
Migrazione o funzionamento in parallelo: una lista di controllo per il cablaggio
- Controllare il codice articolo di ogni ricetrasmettitore. Verificare che supporti il protocollo di destinazione; esistono infatti versioni che supportano solo Ethernet.
- Mantenere l'interfaccia ottica. Riutilizzare la fibra solo se il nuovo cavo ottico utilizza lo stesso connettore e lo stesso tipo di fibra (monomodale o multimodale).
- Mantenere l'APC per tutta la durata. I connettori APC e UPC non devono essere accoppiati.
- Utilizzare un unico metodo di polarità. I cavi ottici diretti di NVIDIA sono cavi crossover diritti, di tipo B MPO-12/APC.
- Controlla nuovamente i bagagli che conservi. Misurare la perdita di inserzione e confrontarla con il limite del canale, ad esempio 3,0 dB per lo standard 400GBASE-DR4.[5]
- Verificare nuovamente le lunghezze rispetto al nuovo progetto di riferimento. I limiti di lunghezza variano a seconda del modello.
- Preparati alla prossima velocità. Gli alloggiamenti per switch XDR di NVIDIA supportano anche cavi e ricetrasmettitori NDR per garantire la retrocompatibilità. Un'interfaccia a 16 fibre, come l'800GBASE-DR8, richiede 16 fibre per porta.
Dove trova applicazione l'Ultra Ethernet
L'Ultra Ethernet Consortium (UEC) è un'organizzazione di standardizzazione basata sul consenso che opera sotto l'egida della Linux Foundation e che ha pubblicato la specifica Ultra Ethernet 1.0 l'11 giugno 2025.[6] Il suo obiettivo è rendere la rete Ethernet più adatta al traffico generato dall’intelligenza artificiale (AI) e dall’HPC. Si tratta di una nuova specifica nel campo delle reti per l’intelligenza artificiale, non ancora un’alternativa a InfiniBand o RoCE, quindi per ora l’infrastruttura AI si basa ancora su una di queste due tecnologie. Se state progettando una rete oggi, chiedete ai vostri fornitori di switch e schede di rete quali funzionalità UEC supportano i loro prodotti e se i componenti ottici e il cablaggio esistenti sono compatibili.
Collegamenti in fibra MPO per cluster InfiniBand ed Ethernet
Cavi di collegamento MPO/MTP: Cavi di collegamento e cavi di patch MPO/MTP in versione monomodale e multimodale per collegamenti a 400G e 800G. Visualizza i cavi MPO/MTP
I collegamenti passivi descritti sopra funzionano allo stesso modo con entrambe le strutture e sono proprio quelli forniti da YingFeng. I nostri Cavi di collegamento MPO/MTP Sono disponibili nelle versioni monomodali OS2 e multimodali OM3 o OM4, con estremità APC o UPC, nelle versioni a 8, 12, 16 e 24 fibre; sono disponibili anche versioni a bassa perdita. Gli assemblaggi MPO/MTP sono prodotti in camera bianca e sono disponibili campioni su richiesta. Per altri componenti passivi, consultare il nostro fibra ottica per data center. Per richiedere un preventivo, raccontaci i codici dei ricambi del ricetrasmettitore, le lunghezze dei collegamenti e il metodo di polarità.
Domande frequenti
InfiniBand è in rame o in fibra ottica?
Entrambi. I collegamenti brevi all’interno di un rack utilizzano spesso cavi in rame a collegamento diretto, mentre quelli più lunghi utilizzano cavi ottici attivi o ricetrasmettitori con fibra ottica. Nella generazione 400G, i ricetrasmettitori utilizzano connettori MPO-12/APC su fibra monomodale o multimodale.
NVIDIA utilizza InfiniBand o Ethernet?
Entrambi. NVIDIA commercializza switch Quantum InfiniBand e switch Spectrum Ethernet, pubblica progetti di riferimento per ciascuno di essi e le sue schede di rete ConnectX-7 supportano entrambi i protocolli.
È possibile utilizzare gli stessi cavi in fibra ottica sia per InfiniBand che per Ethernet?
Sì, all'interno della stessa generazione e della stessa interfaccia ottica. I connettori MPO-12/APC e la fibra sono gli stessi; occorre verificare se ciascun ricetrasmettitore supporti il protocollo di destinazione. Vedi Cambiare la struttura di rete comporta l'installazione di un nuovo cablaggio in fibra ottica? per il dettaglio completo.
Che cos’è il RoCE?
RoCE (RDMA over Converged Ethernet) è uno standard di trasporto del settore, definito dall'IBTA, che consente l'esecuzione dell'RDMA su normali reti Ethernet di livello 2 e 3. La prima specifica è stata pubblicata nel 2010.
Ethernet sta sostituendo InfiniBand?
Nelle reti back-end per l'intelligenza artificiale, secondo il rapporto del luglio 2025 del Dell’Oro Group, Ethernet sta guadagnando rapidamente quote di mercato dalla fine del 2023. Sia Ethernet che InfiniBand continuano a essere commercializzati e implementati, e NVIDIA pubblica progetti di riferimento per entrambe le tecnologie.
Riferimenti esterni
- Associazione di categoria InfiniBand: Informazioni su InfiniBand
- Gangidi et al., “RDMA su Ethernet per l’addestramento distribuito dell’IA su scala meta”, ACM SIGCOMM 2024: ACM Digital Library
- Dell’Oro Group: Ethernet sta vincendo la battaglia contro InfiniBand nelle reti back-end per l'intelligenza artificiale (comunicato stampa, 15 luglio 2025)
- NVIDIA: Cavi e ricetrasmettitori LinkX da 400 Gb/s - Main Deck (documentazione del prodotto)
- Consorzio TIA per la tecnologia delle fibre ottiche: Panoramica sull'applicazione 400GBASE-DR4
- Consorzio Ultra Ethernet: Specifiche Ultra Ethernet v1.0 (11 giugno 2025)