INDICE
Il cablaggio strutturato dei data center consiste in un impianto pianificato in fibra ottica e rame: i collegamenti permanenti collegano le aree di distribuzione fisse ai pannelli di permutazione, e le apparecchiature si collegano a tali pannelli tramite cavi di collegamento corti. L’alternativa è il cablaggio punto a punto, talvolta denominato cablaggio non strutturato, con un cavo separato per ogni collegamento. In un cluster di intelligenza artificiale la scelta è più importante del solito, poiché un singolo server GPU può avere otto o più porte di rete ad alta velocità e ogni porta utilizza diverse fibre in un connettore MPO.
Di seguito illustriamo la mappatura delle aree di distribuzione standard su una sala dati con GPU, mostriamo come stimare il numero di fibre in base alla propria topologia, calcoliamo la quota di perdita assegnata a ciascun pannello di permutazione e concludiamo con un elenco degli aspetti da valutare prima di ordinare i cavi trunk.
Che cos’è il cablaggio strutturato dei data center?
Un sistema di cablaggio strutturato suddivide la sala in aree con funzioni fisse. Il cablaggio dorsale collega tra loro le aree di distribuzione, il cablaggio orizzontale si estende da un’area di distribuzione ai rack delle apparecchiature, mentre i pannelli di permutazione situati a ciascuna estremità assegnano a ogni fibra una posizione fissa ed etichettata. Quando le apparecchiature vengono spostate o un collegamento viene modificato, è sufficiente effettuare una nuova connessione sul pannello invece di far passare un nuovo cavo attraverso i percorsi, il che garantisce rapidità nelle modifiche e limita i tempi di inattività. L’infrastruttura di cablaggio rimane inoltre inalterata mentre gli switch e i componenti ottici passano da una generazione all’altra, ed è proprio da ciò che deriva la sua scalabilità.
L'apparecchiatura si collega al cablaggio in uno dei due modi seguenti. Un'interconnessione è un pannello di permutazione situato accanto all'apparecchiatura attiva che distribuisce le sue porte al resto della sala. Un cross-connect aggiunge una serie separata di pannelli che rispecchiano le porte dell'apparecchiatura, in modo che qualsiasi porta possa essere collegata a qualsiasi altra porta sulla parte anteriore dei pannelli.[1]
Le aree di distribuzione riportate di seguito sono tratte dagli standard di settore relativi al cablaggio dei data center. La colonna di destra riporta la nostra interpretazione applicata a una sala dati dedicata alle GPU, non una definizione tratta dallo standard.
| Area | Ruolo nella progettazione del cablaggio | Contenuti tipici di un cluster di IA (lettura applicata) |
|---|---|---|
| Area di distribuzione principale (MDA) | Collegamento trasversale principale per la sala | Commutatori Spine e interconnessione principale in fibra ottica |
| Area di distribuzione intermedia (IDA) | Livello facoltativo tra l’MDA e gli HDA nei siti di maggiori dimensioni | Un collegamento incrociato per una sala o un pod |
| Area di distribuzione orizzontale (HDA) | Per una zona o una fila di scaffali | Interruttori a lamella, ovvero i pannelli che alimentano una fila di rack di GPU |
| Area di distribuzione delle attrezzature (EDA) | Scaffali e armadi per apparecchiature terminali | Server GPU e nodi di archiviazione |
La revisione del 2024 dello standard statunitense ha introdotto l'obbligo di armadi di larghezza minima di 800 mm nelle categorie MDA, IDA e HDA, mentre per le prese delle apparecchiature continua a specificare esclusivamente connettori LC e MPO per la fibra ottica.[2]
Standard di cablaggio per i data center
| Regione | Standard | Cosa comprende |
|---|---|---|
| Stati Uniti | ANSI/TIA-942-C (maggio 2024) | Infrastrutture di telecomunicazione per centri dati e sale server[3] |
| Internazionale | ISO/IEC 11801-5:2017 | Cablaggio generico per centri dati; ha sostituito la norma ISO/IEC 24764:2010[4] |
| Europa | EN 50173-5:2018 | Sistemi di cablaggio generici per spazi destinati a data center[5] |
| Componenti in fibra (USA) | ANSI/TIA-568.3-E (settembre 2022) | Cablaggio in fibra ottica e componenti[6] |
Diverse guide sul cablaggio continuano a citare la norma ISO/IEC 24764 come standard internazionale per i data center. Tale norma è stata ritirata e sostituita dalla ISO/IEC 11801-5:2017, pertanto le specifiche redatte oggi dovrebbero fare riferimento al numero più recente.[4]
Cosa cambia quando il data center esegue carichi di lavoro di intelligenza artificiale
Un cluster di intelligenza artificiale presenta la stessa struttura di cablaggio di qualsiasi data center moderno. Ciò che cambia è il numero di collegamenti, il numero di fibre per collegamento e la lunghezza dei collegamenti. La larghezza di banda di ciascuna porta viene ripartita su diverse fibre che operano in parallelo, pertanto le porte più veloci richiedono spesso un numero maggiore di fibre.
- Più di una rete. L'architettura di riferimento DGX SuperPOD di NVIDIA distingue tra un fabric di calcolo, un fabric di archiviazione, una rete di gestione in-band e una rete di gestione out-of-band.[7] Ciascuno di essi trasporta un traffico dati diverso e richiede un proprio schema di cablaggio, e il fabric di calcolo è di gran lunga il più esteso.
- Un numero maggiore di porte per server. Un DGX H100 dispone di quattro alloggiamenti OSFP che ospitano otto schede ConnectX-7 a porta singola, ciascuna delle quali, per impostazione predefinita, supporta InfiniBand a una velocità massima di 400 Gb/s.[8] Nel design SuperPOD, i server sono raggruppati in gruppi di 32 e ogni rail GPU si trova a un hop di distanza dallo stesso rail presente sugli altri 31 nodi.[7] Il nostro Guida alla rete GPU spiega la configurazione della rete ferroviaria.
- Ottica parallela. Un collegamento 400GBASE-DR4 si sviluppa su 8 fibre monomodali.[9] Il 400GBASE-SR8 utilizza 16 fibre multimodali[10] e lo standard 800GBASE-DR8 utilizza 16 fibre monomodali.[11] Tutti questi terminano con connettori MPO, quindi il numero di fibre del trunk deve corrispondere a quello del modulo ottico, non solo al numero di porte.
- Brevi distanze. Nel progetto del data center DGX SuperPOD H100 di NVIDIA, la lunghezza totale di qualsiasi cavo InfiniBand non deve superare i 50 m.[12] Quel limite riguarda un unico progetto di riferimento, ma dimostra quanto la progettazione dei rack per l’intelligenza artificiale sia strettamente legata alla lunghezza dei cavi.
Cablaggio strutturato e collegamenti punto-punto in un cluster di GPU
Nessuno dei due approcci è obbligatorio per l’intero cluster. Un produttore di sistemi di cablaggio sottolinea che sia le reti di intelligenza artificiale back-end che quelle front-end possono utilizzare architetture di cablaggio punto-punto o strutturate, a seconda della progettazione e delle dimensioni della struttura.[13] Un produttore di apparecchiature di collaudo adotta una posizione più rigida: il cablaggio punto a punto viene solitamente utilizzato solo all’interno di un singolo rack, ad esempio dallo switch “top-of-rack” ai server sottostanti, e non è raccomandato tra armadi o spazi funzionali.[1] Una soluzione comune prevede l'uso di entrambi: collegamenti diretti all'interno del rack e cablaggio strutturato tra i rack e le file.
| Link | Approccio comune | Perché | Cosa guardare |
|---|---|---|---|
| Da server a switch nello stesso rack | Cavi in rame a collegamento diretto (DAC) o cavi ottici attivi (AOC) | Percorso più breve, non è necessario alcun pannello | Volume dei cavi e flusso d'aria nel rack |
| Switch da rack a leaf per GPU nella stessa fila | Cavi di collegamento MPO che passano attraverso un pannello in ogni rack, oppure cavi ottici diretti | Dipende dalla frequenza con cui verrà ricablata la fila | Ogni pannello aggiunge una coppia di connettori accoppiati |
| Da una pagina all’altra, da una riga all’altra, da una sala all’altra | Condotti tra i pannelli nelle aree di distribuzione | Cicli lunghi e continui; le modifiche vengono effettuate dal pannello di controllo | Numero di fibre, polarità, bilancio di perdita |
| Reti di archiviazione e gestione | Cablaggio strutturato | Legami duraturi caratterizzati da continui spostamenti e cambiamenti | Etichette e registrazioni |
I pannelli di permutazione non fanno eccezione nei collegamenti AI. La portata di 100 m di un ricetrasmettitore NVIDIA a doppia porta in modalità singola presuppone la presenza di due pannelli di permutazione ottici nel collegamento.[14] Neanche la latenza è un motivo per evitarli: sulle brevi distanze all’interno di un pod (meno di 50 m), il ritardo di propagazione della luce rimane al di sotto dei 250 nanosecondi, un valore trascurabile rispetto al ritardo di commutazione e di elaborazione del segnale.[15]
Il vero costo di una connessione incrociata è di natura ottica. Essa introduce nel canale un maggior numero di punti di connessione, e quindi una maggiore perdita di inserzione, in cambio dell’isolamento delle apparecchiature attive e della semplificazione delle operazioni di spostamento, aggiunta e modifica.[1] Le sezioni seguenti illustrano come quantificare tale costo.
Di quante fibre ha bisogno un cluster di intelligenza artificiale?
Non esiste una regola empirica affidabile del tipo “dieci volte rispetto a un data center standard”. Il numero di fibre dipende dalla topologia, quindi calcolatelo in base al vostro progetto:
Formula per il conteggio delle fibre
Fibre = (server × porte fabric per server × fibre per porta) + (collegamenti tra switch × fibre per collegamento) + collegamenti di gestione per lo storage, in-band e out-of-band + capacità di riserva per la crescita.
Un esempio concreto: un DGX H100 dispone di otto porte di calcolo da 400G.[8] Se ogni porta utilizza un modulo ottico di tipo DR4 con otto fibre attive, un server richiede 64 fibre, mentre un gruppo di 32 server ne richiede 2.048 solo per raggiungere gli switch leaf. Il connettore MPO-12 su questi moduli ottici utilizza quattro fibre di trasmissione e quattro di ricezione, lasciando quattro posizioni libere.[16] Un cavo in fibra ottica a 16 fibre, come l’SR8 o il DR8, richiede 16 fibre per porta; pertanto, occorre stabilire contemporaneamente il numero di fibre del cavo di collegamento e il tipo di connettore.[10][11]
| GPU | Unità scalabili | Cavi "compute-to-leaf" | Cavi da interruttore a interruttore |
|---|---|---|---|
| 144 | 2 | 288 | 288 |
| 288 | 4 | 576 | 576 |
| 576 | 8 | 1,152 | 1,152 |
Ogni pannello di permutazione utilizza una parte del budget di perdita
Ogni pannello di permutazione in un canale aggiunge una coppia di connettori accoppiati. Un canale con un’interconnessione a ciascuna estremità presenta due connessioni; l’aggiunta di una connessione incrociata porta il numero a tre, mentre le interconnessioni a entrambe le estremità più una connessione incrociata nel mezzo portano il numero a quattro.[1]
L'ottica parallela lascia poco margine in tal senso. Un canale 400GBASE-DR4 ammette una perdita di inserzione di 3,0 dB, e la sua portata massima viene calcolata tenendo conto di 2,75 dB destinati alle connessioni e alle giunzioni.[9] Un canale 400GBASE-SR8 su fibra multimodale OM4 consente una perdita totale di soli 1,9 dB.[10] Gli standard di cablaggio TIA-568 stabiliscono che la perdita massima per ogni coppia di connettori accoppiati sia pari a 0,75 dB.[20] Ecco cosa succede se ogni coppia raggiunge quel limite massimo:
| Canale | Coppie accoppiate | Perdita di segnale pari a 0,75 dB per coppia | Rispetto a DR4 (2,75 dB assegnati) | Rispetto a SR8 su OM4 (canale da 1,9 dB) |
|---|---|---|---|---|
| Due cavi di interconnessione | 2 | 1,5 dB | Compatibile con | Lascia 0,4 dB per la fibra |
| Interconnessione + connessione incrociata | 3 | 2,25 dB | Compatibile con | Supera |
| Due interconnessioni + connessione incrociata | 4 | 3,0 dB | Supera | Supera |
Il valore di 0,75 dB rappresenta un limite massimo, non un valore tipico. Il punto è che il numero di pannelli è una scelta progettuale che comporta un costo in termini di prestazioni ottiche. Contate ogni coppia accoppiata, utilizzate connettori la cui perdita specificata sia ben al di sotto del limite massimo e misurate ogni collegamento al momento del collaudo. Mantenete anche la superficie terminale uniforme: i connettori APC e UPC non devono essere accoppiati. Il Guida alla rete 400G indica il costo di ciascuna ottica da 400G.
Polarità MPO: scegliere un metodo prima di effettuare l'ordine
La polarità determina se ciascuna fibra di trasmissione raggiunge una fibra di ricezione all'estremità opposta. Il metodo A utilizza collegamenti diretti, il metodo B utilizza collegamenti invertiti con lo stesso tipo di cavo di collegamento a entrambe le estremità, mentre il metodo C inverte le coppie adiacenti; per questo motivo non è raccomandato per i sistemi ottici paralleli.[21] Scegliere un unico metodo per l'intero canale in fase di progettazione: i cavi MPO preterminati vengono solitamente realizzati su ordinazione e spesso non possono essere restituiti.[21] Per i collegamenti diretti ottico-ottico, NVIDIA fornisce cavi MPO-12/APC di tipo B con connettori incrociati.[16] Il nostro Guida ai connettori MPO spiega ogni metodo con l'ausilio di diagrammi, e la guida su Come specificare i cavi di collegamento MPO/MTP spiega come indicare la polarità in un ordine.
Percorsi, densità e gestione dei cavi nei data center
La gestione dei cavi in fibra ottica nei data center si basa su quattro aspetti fondamentali: garantire il rispetto del raggio di curvatura, mantenere percorsi di instradamento liberi, garantire l’accessibilità delle fibre installate e proteggerle da danni accidentali. Una regola comune nel settore prevede un raggio di curvatura pari ad almeno 20 volte il diametro del cavo quando è in tensione e a 10 volte dopo l’installazione, quando non è in tensione.[22]
Le file di GPU rendono tutto questo più difficile. I fori di ingresso, i sistemi di gestione dei cavi verticali e le canaline aeree spesso si riempiono prima dei pannelli, quindi dimensionate i percorsi in base al numero finale di fibre, non a quello della prima fase. Pochi trunk modulari ad alta capacità occupano molto meno spazio rispetto a centinaia di cavi singoli e lasciano libera la parte anteriore del rack per i cavi di collegamento che vengono effettivamente sostituiti. Pianificate dove riporre il cavo in eccesso, mantenete corti i cavi di collegamento e lasciate spazio per raggiungere la parte posteriore di ciascun pannello. Per i telai che terminano tali trunk, consultate il nostro Guida ai quadri di distribuzione ottica.
Etichettare, testare e documentare ogni collegamento
Un cluster con migliaia di collegamenti MPO è gestibile solo se è possibile individuare ogni singolo collegamento e confrontare successivamente ogni misurazione. La documentazione garantisce inoltre l’affidabilità: un tecnico in grado di individuare rapidamente la porta corretta è meno propenso a scollegare quella sbagliata.
Etichettatura
Lo standard di etichettatura del cablaggio, TIA-606-C, prevede l'apposizione di identificatori su percorsi, pannelli di permutazione, rack e armadi, porte, cavi, spazi dedicati alle telecomunicazioni e sulla griglia della sala del data center, tra le altre cose.[23] Per i cluster AI, etichettare entrambe le estremità di ogni cavo principale e cavo di collegamento indicando la porta, il numero di fibre e la polarità, assicurandosi che le etichette corrispondano alla mappa delle fibre e al disegno di installazione. La guida su Come specificare i cavi di collegamento MPO/MTP comprende il testo delle etichette e il packaging degli ordini.
Collaudo e accettazione
- Ispezionare ciascuna faccia terminale, pulirla se necessario e ispezionarla nuovamente. L'ispezione visiva non sostituisce la misurazione dell'attenuazione e della perdita di ritorno.[24]
- Eseguire i test di Livello 1 con un set di test per la perdita ottica: perdita di inserzione, lunghezza e polarità.[25]
- Aggiungere il test di livello 2 (OTDR) nei casi in cui sia necessario individuare eventi lungo il cavo. Tale test non sostituisce la misurazione della perdita di inserzione di livello 1.[25]
- Salva i valori misurati relativi alle perdite di ogni collegamento come riferimento per eventuali interventi di risoluzione dei problemi futuri.
Prima di effettuare l'ordine: una lista di controllo per la pianificazione
Chiarisite questi punti prima di richiedere preventivi per trunk, pannelli e cavi di collegamento, o prima di incaricare qualcuno di installare l'infrastruttura di rete:
| Decidi | Perché è importante |
|---|---|
| Mappa dei collegamenti: area di inizio e di fine di ogni collegamento, per rete | Definisce i percorsi e le lunghezze dei cavi principali |
| Interconnessione o collegamento incrociato in ciascuna area | Imposta il numero di coppie accoppiate per canale |
| Numero di fibre del cavo principale e tipo di MPO (8 o 16 fibre per porta) | Deve essere compatibile con il sistema ottico, con fibre di riserva per espansione futura |
| Budget delle perdite per canale | Verifica che il numero di pannelli corrisponda a quello dell'ottica |
| Metodo della polarità per l'intero canale | I componenti preassemblati vengono realizzati su ordinazione |
| Faccia terminale (APC o UPC) | APC e UPC non sono compatibili |
| Sistema di etichettatura | Le etichette devono corrispondere alla composizione delle fibre |
| Livello di prova e valori di accettazione | Livello 1 su ogni collegamento; Livello 2 dove necessario |
| Piano di crescita | Scalabilità: percorso e spazio nel pannello per il conteggio finale delle fibre |
Prima che i collegamenti diventino attivi, controlla la lista di controllo relativa al livello fisico presente nel nostro Guida alla rete 400G.
Connettività in fibra ottica per le sale dati dedicate all’intelligenza artificiale di YingFeng
Fibra ottica per data center: cavi di collegamento e cavi di derivazione MPO/MTP, quadri di distribuzione ottica e adattatori per il cablaggio strutturato. Visualizza i prodotti per i data center
YingFeng fornisce fibra ottica per data center per la parte passiva dell'impianto. Il nostro Cavi di collegamento MPO/MTP sono disponibili nelle versioni a 8, 12, 16 e 24 fibre; sono disponibili anche versioni a bassa perdita e gli assemblaggi MPO/MTP vengono prodotti in camera bianca. Per quanto riguarda i pannelli, realizziamo modelli per montaggio su rack, a parete e da pavimento quadri di distribuzione ottica in base all’ambiente applicativo e ai disegni di ciascun cliente; inoltre, gli adattatori in fibra ottica sui pannelli e i componenti di distribuzione della fibra all’interno del telaio sono realizzati internamente. Sono disponibili campioni su richiesta. Per ricevere un preventivo, inviateci la mappa dei collegamenti, il numero di fibre per tronco, il tipo di MPO, il metodo di polarità e la superficie terminale.
Domande frequenti
Che cos’è il cablaggio strutturato in un data center?
Si tratta di un impianto di cablaggio all’interno di un data center, dotato di collegamenti permanenti tra le aree di distribuzione fisse e i pannelli di permutazione, in cui le apparecchiature vengono collegate tramite cavi di permutazione di breve lunghezza. Le modifiche vengono effettuate tramite la ricollegamento dei cavi sul pannello, anziché posare un nuovo cavo punto a punto.
Quali norme si applicano al cablaggio strutturato dei data center?
Negli Stati Uniti, la norma ANSI/TIA-942-C (2024) riguarda l’infrastruttura dei data center, mentre la norma ANSI/TIA-568.3-E riguarda il cablaggio in fibra ottica e i relativi componenti. A livello internazionale, la norma ISO/IEC 11801-5:2017, relativa al cablaggio generico nei data center, ha sostituito la norma ISO/IEC 24764; in Europa la norma di riferimento è la EN 50173-5:2018. L'etichettatura segue la norma TIA-606-C.
Qual è la differenza tra un’interconnessione e un collegamento incrociato?
Un'interconnessione è un pannello di connessione situato accanto alle apparecchiature attive. Una connessione incrociata aggiunge una serie separata di pannelli che rispecchiano le porte delle apparecchiature, in modo che qualsiasi porta possa essere collegata a qualsiasi altra. Una connessione incrociata semplifica le modifiche, ma aggiunge coppie di connettori accoppiati e perdite su ciascun canale.
Che tipo di cavo viene utilizzato nei data center dedicati all'intelligenza artificiale?
All’interno di un rack sono comunemente utilizzati cavi in rame a collegamento diretto e cavi ottici attivi. Tra i rack e le file, i ricetrasmettitori ottici si collegano tramite cavi in fibra ottica, monomodali o multimodali, mentre le interfacce ottiche parallele come il 400G DR4 utilizzano connettori MPO con 8 o 16 fibre per porta.
Di quante fibre ha bisogno un server GPU?
Moltiplicare il numero delle porte del fabric per il numero di fibre utilizzate da ciascuna ottica. Un server con otto porte da 400G su ottiche di tipo DR4 necessita di 64 fibre solo per il fabric di calcolo, senza contare i collegamenti di archiviazione e gestione. Vedi Di quante fibre ha bisogno un cluster di intelligenza artificiale? per la formula completa.
Riferimenti esterni
- Fluke Networks: Collegamenti incrociati nel data center (blog "Cabling Chronicles")
- Consorzio TIA per la tecnologia delle fibre ottiche: ANSI/TIA-942-C: Norma sulle infrastrutture di telecomunicazione per i data center
- ANSI/TIA-942-C (07/05/2024), Norma sulle infrastrutture di telecomunicazione per i data center: Archivio degli standard Accuris
- ISO/IEC 11801-5:2017, Tecnologia dell'informazione – Cablaggio generico per locali dei clienti – Parte 5: Centri dati: ISO
- BS EN 50173-5:2018, Tecnologia dell'informazione. Sistemi di cablaggio generici – Spazi dei data center (identica alla norma EN 50173-5:2018): BSI Knowledge
- ANSI/TIA-568.3-E (29/09/2022), Norma relativa al cablaggio in fibra ottica e ai relativi componenti: Archivio degli standard Accuris
- NVIDIA: Architettura di riferimento DGX SuperPOD con DGX H100 e strutture di rete (documentazione del prodotto)
- NVIDIA: Guida per l'utente DGX H100/H200, Introduzione (documentazione del prodotto)
- Consorzio TIA per la tecnologia delle fibre ottiche: Panoramica sull'applicazione 400GBASE-DR4
- Consorzio TIA per la tecnologia delle fibre ottiche: Panoramica sulle applicazioni del 400GBASE-SR8
- Consorzio TIA per la tecnologia delle fibre ottiche: Panoramica sull'applicazione 800GBASE-DR8
- NVIDIA: Progettazione del data center DGX SuperPOD per H100, in fase di pianificazione (documentazione del prodotto)
- Siemon: Sfruttare il potenziale dell'IA grazie a una connettività senza soluzione di continuità nei data center (articolo informativo)
- NVIDIA: MMS4X00-NS-T, ricetrasmettitore da 800G OSFP a doppia porta a 2x400G in modalità singola (documentazione del prodotto)
- Data Centre Alliance: Cablaggio strutturato nei data center basati sull'intelligenza artificiale
- NVIDIA: Transceiver OSFP a porta singola MMS4A20 DR4 da 800 Gbps, Panoramica (documentazione del prodotto)
- NVIDIA: Architettura di riferimento aziendale per GB300 NVL72, Architettura logica di rete (documentazione del prodotto)
- Corning: I prossimi passi nella connettività MTP (articolo informativo)
- L'Associazione per le fibre ottiche: Il manuale di riferimento FOA per la fibra ottica – Terminazione
- L'Associazione per le fibre ottiche: EIA/TIA 568 per le fibre ottiche
- Fluke Networks: Come impostare correttamente la polarità degli MPO a 12 e 8 fibre (blog "Cabling Chronicles")
- L'Associazione per le fibre ottiche: Il manuale di riferimento FOA per la fibra ottica – Installazione della fibra ottica
- Brady: Standard di etichettatura dei cavi: ANSI/TIA-606-C – Cosa c'è di nuovo? (articolo informativo)
- IEC 61300-3-35:2022, Dispositivi di interconnessione in fibra ottica e componenti passivi – Parte 3-35: Ispezione visiva dei connettori in fibra ottica e dei ricetrasmettitori con stub in fibra: Negozio online IEC
- Fluke Networks: Suggerimenti per i test sulle fibre ottiche di livello 1 e 2 (blog "Cabling Chronicles")
