TABLE DES MATIÈRES
Le câblage structuré d’un centre de données consiste en un réseau planifié de fibres optiques et de cuivre : des liaisons permanentes relient les zones de distribution fixes aux panneaux de brassage, et les équipements se connectent à ces panneaux à l’aide de cordons de raccordement courts. L’alternative est le câblage point à point, parfois appelé câblage non structuré, avec un câble distinct pour chaque liaison. Dans un cluster d’IA, ce choix revêt une importance particulière, car un seul serveur GPU peut comporter huit ports réseau haut débit, voire plus, et chaque port utilise plusieurs fibres regroupées dans un connecteur MPO.
Nous présentons ci-dessous la cartographie des zones de distribution standard dans un centre de données GPU, expliquons comment estimer le nombre de fibres à partir de votre propre topologie, calculons la part du budget de perte utilisée par chaque panneau de raccordement, et terminons par une liste des éléments à prendre en compte avant de commander des liaisons.
Qu'est-ce que le câblage structuré d'un centre de données ?
Un système de câblage structuré divise la salle en zones ayant des rôles bien définis. Le câblage de base relie les zones de distribution entre elles, le câblage horizontal va d’une zone de distribution aux baies d’équipements, et les panneaux de brassage situés à chaque extrémité attribuent à chaque fibre une position fixe et étiquetée. Lorsqu'un équipement est déplacé ou qu'une liaison est modifiée, les techniciens effectuent un nouveau raccordement au niveau du panneau plutôt que de tirer un nouveau câble à travers les chemins de câbles, ce qui permet d'effectuer les modifications rapidement et de limiter les temps d'arrêt. L'infrastructure de câblage reste également en place alors que les commutateurs et les modules optiques évoluent d'une génération à l'autre, et c'est de là que provient son évolutivité.
Le raccordement des équipements au câblage s'effectue de deux manières différentes. Une interconnexion consiste en un panneau de raccordement situé à proximité de l'équipement actif, qui distribue ses ports vers le reste de la salle. Une connexion croisée ajoute un ensemble distinct de panneaux qui reproduisent les ports de l'équipement, de sorte que n'importe quel port puisse être raccordé à n'importe quel autre port situé à l'avant des panneaux.[1]
Les zones de distribution ci-dessous sont issues des normes industrielles relatives au câblage des centres de données. La colonne de droite correspond à notre interprétation pour une salle de serveurs équipée de GPU ; il ne s'agit pas d'une définition tirée de la norme.
| Zone | Rôle dans la conception du câblage | Contenu type d'un module sur l'IA (lecture appliquée) |
|---|---|---|
| Zone de distribution principale (MDA) | Panneau de raccordement principal de la salle | Commutateurs de dorsale et interconnexion principale des fibres optiques |
| Zone de distribution intermédiaire (IDA) | Niveau facultatif entre le MDA et les HDA dans les sites de plus grande taille | Une interconnexion pour un hall ou un module |
| Zone de distribution horizontale (HDA) | Destiné à une zone ou une rangée de rayonnages | Les commutateurs « leaf », c'est-à-dire les panneaux qui alimentent une rangée de baies de GPU |
| Zone de distribution du matériel (EDA) | Racks et armoires pour équipements terminaux | Serveurs GPU et nœuds de stockage |
La révision de 2024 de la norme américaine a introduit une exigence imposant une largeur minimale de 800 mm pour les armoires dans les zones MDA, IDA et HDA ; quant aux prises de raccordement, elle continue de spécifier uniquement des connecteurs LC et MPO pour la fibre optique.[2]
Normes de câblage des centres de données
| Région | Standard | Ce qu'il couvre |
|---|---|---|
| États-Unis | ANSI/TIA-942-C (mai 2024) | Infrastructures de télécommunications pour les centres de données et les salles informatiques[3] |
| International | ISO/IEC 11801-5:2017 | Câblage générique pour les centres de données ; cette norme a remplacé la norme ISO/IEC 24764:2010[4] |
| Europe | EN 50173-5:2018 | Systèmes de câblage génériques pour les espaces de centres de données[5] |
| Composants en fibre (États-Unis) | ANSI/TIA-568.3-E (septembre 2022) | Câblage et composants en fibre optique[6] |
Plusieurs guides de câblage mentionnent encore la norme ISO/IEC 24764 comme norme internationale applicable aux centres de données. Celle-ci ayant été retirée et remplacée par la norme ISO/IEC 11801-5:2017, les spécifications rédigées aujourd’hui devraient donc faire référence à la nouvelle référence.[4]
Quels changements interviennent lorsque le centre de données exécute des charges de travail d'IA ?
Un cluster d'IA suit la même structure de câblage que n'importe quel centre de données moderne. Ce qui change, c'est le nombre de liaisons, le nombre de fibres par liaison et la longueur de ces liaisons. La bande passante de chaque port est répartie entre plusieurs fibres fonctionnant en parallèle ; ainsi, les ports plus rapides nécessitent souvent davantage de fibres.
- Plus d'un réseau. L'architecture de référence DGX SuperPOD de NVIDIA distingue une structure de calcul, une structure de stockage, un réseau de gestion en bande et un réseau de gestion hors bande.[7] Chacune d'entre elles achemine un trafic de données différent et nécessite son propre plan de câblage, et la structure de calcul est de loin la plus importante.
- Davantage de ports par serveur. Un DGX H100 dispose de quatre baies OSFP accueillant huit cartes ConnectX-7 à port unique, chacune fonctionnant par défaut en InfiniBand à un débit pouvant atteindre 400 Gb/s.[8] Dans l'architecture SuperPOD, les serveurs sont regroupés par 32 et chaque rail GPU se trouve à un saut du rail correspondant sur les 31 autres nœuds.[7] Notre Guide sur les réseaux GPU explique le tracé de la voie ferrée.
- Optique parallèle. Une liaison 400GBASE-DR4 s'étend sur 8 fibres monomodes.[9] Le 400GBASE-SR8 utilise 16 fibres multimodes[10] et la norme 800GBASE-DR8 utilise 16 fibres monomodes.[11] Comme tous ces câbles se terminent par des connecteurs MPO, le nombre de fibres de la liaison principale doit correspondre à celui du module optique, et pas seulement au nombre de ports.
- De courtes distances. Dans la conception du centre de données DGX SuperPOD H100 de NVIDIA, la longueur totale de tout câble InfiniBand ne doit pas dépasser 50 m.[12] Cette limite concerne un modèle de référence, mais elle montre à quel point la conception des baies d'IA est étroitement liée à la longueur des câbles.
Câblage structuré ou liaisons point à point dans un cluster de GPU
Aucune de ces deux approches n'est obligatoire pour l'ensemble du cluster. Un fabricant de câblage souligne que les réseaux d'IA, tant en amont qu'en aval, peuvent recourir à des architectures de câblage point à point ou structurées, en fonction de la conception et de la taille de l'installation.[13] Un fabricant d'équipements de test adopte une position plus ferme : le câblage point à point n'est généralement utilisé qu'à l'intérieur d'une même armoire, par exemple entre un commutateur situé en haut de l'armoire et les serveurs situés en dessous, et n'est pas recommandé entre les armoires ou les espaces fonctionnels.[1] Une configuration courante combine les deux : des liaisons directes à l'intérieur du rack et un câblage structuré entre les racks et les rangées.
| Lien | Approche commune | Pourquoi ? | À ne pas manquer |
|---|---|---|---|
| Serveur à installer dans le même rack | Câbles en cuivre à connexion directe (DAC) ou câbles optiques actifs (AOC) | Chemin le plus court, sans panneau | Encombrement des câbles et circulation de l'air au niveau du rack |
| Commutateurs « rack-to-leaf » pour GPU situés dans la même rangée | Câbles de raccordement MPO passant par un panneau dans chaque rack, ou câbles optiques directs | Cela dépend de la fréquence à laquelle la rangée devra être recâblée | Chaque panneau comporte une paire de connecteurs appariés |
| De feuille en feuille, de rangée en rangée, de salle en salle | Conduites entre les panneaux dans les zones de distribution | Longues séries continues ; les modifications sont effectuées au niveau du tableau de commande | Nombre de fibres, polarité, budget de perte |
| Réseaux de stockage et de gestion | Câblage structuré | Des liens durables, marqués par des déménagements et des changements réguliers | Étiquettes et fiches |
Les panneaux de raccordement ne font pas exception dans les liaisons IA. La portée de 100 m d'un émetteur-récepteur monomode à double port NVIDIA suppose la présence de deux panneaux de raccordement optiques dans la liaison.[14] La latence n'est pas non plus une raison de les éviter : sur les courtes distances à l'intérieur d'un pod (moins de 50 m), le délai de propagation de la lumière reste inférieur à 250 nanosecondes, ce qui est négligeable par rapport aux délais de commutation et de traitement du signal.[15]
Le véritable coût d'une interconnexion réside dans la partie optique. Elle introduit davantage de points de connexion, et donc davantage de perte d'insertion, dans le canal, en échange d'une isolation des équipements actifs et d'une simplification des opérations de déplacement, d'ajout et de modification.[1] Les sections suivantes expliquent comment évaluer ce coût.
De combien de fibres un cluster d'IA a-t-il besoin ?
Il n'existe pas de règle empirique fiable du type “ dix fois plus qu'un centre de données classique ”. Le nombre de fibres dépend de la topologie ; il convient donc de le calculer à partir de votre propre conception :
Formule de calcul du nombre de fibres
Fibres = (serveurs × nombre de ports de réseau par serveur × nombre de fibres par port) + (liaisons entre commutateurs × nombre de fibres par liaison) + liaisons de stockage et de gestion en bande et hors bande + capacité de réserve pour la croissance.
Exemple concret : un DGX H100 dispose de huit ports de calcul 400G.[8] Si chaque port utilise un module optique de type DR4 comportant huit fibres actives, un serveur nécessite 64 fibres, et un groupe de 32 serveurs nécessite 2 048 fibres rien que pour atteindre les commutateurs « leaf ». Le connecteur MPO-12 de ces modules optiques utilise quatre fibres d'émission et quatre fibres de réception, laissant quatre emplacements inoccupés.[16] Un câble à fibre optique à 16 fibres, tel que le SR8 ou le DR8, nécessite 16 fibres par port ; il convient donc de déterminer conjointement le nombre de fibres de la liaison et le type de connecteur.[10][11]
| GPU | Unités évolutives | Câbles « compute-to-leaf » | Câbles de raccordement entre commutateurs |
|---|---|---|---|
| 144 | 2 | 288 | 288 |
| 288 | 4 | 576 | 576 |
| 576 | 8 | 1,152 | 1,152 |
Chaque panneau de raccordement utilise une partie du budget de perte
Chaque panneau de raccordement d'un canal ajoute une paire de connecteurs accouplés. Un canal comportant une interconnexion à chaque extrémité dispose de deux connexions ; l'ajout d'une connexion croisée porte ce nombre à trois, et des interconnexions aux deux extrémités, plus une connexion croisée entre les deux, en font quatre.[1]
L'optique parallèle ne laisse guère de marge à cet égard. Un canal 400GBASE-DR4 autorise une perte d'insertion de 3,0 dB, et sa portée maximale est calculée en tenant compte d'une perte de 2,75 dB attribuée aux connexions et aux épissures.[9] Un canal 400GBASE-SR8 sur une fibre multimode OM4 ne présente qu'une perte totale de 1,9 dB.[10] Les normes de câblage TIA-568 fixent à 0,75 dB la perte maximale pour chaque paire de connecteurs raccordés.[20] Voici ce qui se passe si chaque paire atteint ce plafond :
| Chaîne | Couples | Perte de connexion de 0,75 dB par paire | Par rapport à la norme DR4 (2,75 dB attribués) | Par rapport à la norme SR8 sur OM4 (canal de 1,9 dB) |
|---|---|---|---|---|
| Deux interconnexions | 2 | 1,5 dB | Compatible avec | Il reste 0,4 dB pour la fibre optique |
| Interconnexion + connexion croisée | 3 | 2,25 dB | Compatible avec | Dépasse |
| Deux interconnexions + une connexion croisée | 4 | 3,0 dB | Dépasse | Dépasse |
La valeur de 0,75 dB correspond à un seuil maximal, et non à une valeur typique. Le fait est que le nombre de panneaux relève d’un choix de conception qui a un coût optique. Comptez chaque paire raccordée, utilisez des connecteurs dont la perte spécifiée est bien inférieure au seuil maximal, et mesurez chaque liaison lors de la réception. Veillez également à la cohérence des faces d'extrémité : les connecteurs APC et UPC ne doivent pas être accouplés. Le Guide du réseau 400G indique le budget prévu pour chaque composant optique 400G.
Polarité MPO : choisissez une méthode avant de passer commande
La polarité détermine si chaque fibre d'émission atteint une fibre de réception à l'extrémité opposée. La méthode A utilise des liaisons directes, la méthode B utilise des liaisons inversées avec le même type de cordon de raccordement aux deux extrémités, et la méthode C inverse les paires adjacentes, ce qui explique pourquoi elle n'est pas recommandée pour les systèmes optiques parallèles.[21] Choisissez une seule méthode pour l'ensemble du canal dès la phase de conception : les assemblages MPO pré-raccordés sont généralement fabriqués sur commande et ne peuvent souvent pas être retournés.[21] Pour les liaisons optiques directes, NVIDIA fournit des câbles MPO-12/APC de type B, croisés droits.[16] Notre Guide des connecteurs MPO explique chaque méthode à l'aide de schémas, et le guide sur Comment spécifier des cordons de raccordement MPO/MTP explique comment indiquer la polarité dans une commande.
Cheminements, densité et gestion des câbles dans les centres de données
La gestion des câbles à fibre optique dans les centres de données repose sur quatre principes : respecter le rayon de courbure, garantir des chemins de câblage dégagés, assurer l'accessibilité des fibres installées et les protéger contre tout dommage accidentel. Une règle couramment appliquée sur le terrain préconise un rayon de courbure d'au moins 20 fois le diamètre du câble lorsqu'il est sous tension, et de 10 fois ce diamètre après l'installation, lorsqu'il n'est plus sous tension.[22]
Les rangées de GPU compliquent chacune de ces opérations. Les orifices d’entrée, les organiseurs de câbles verticaux et les chemins de câbles suspendus sont souvent saturés avant même que les panneaux ne le soient ; il faut donc dimensionner les chemins de câbles en fonction du nombre final de fibres, et non de celui de la première phase. Quelques troncs modulaires à grande capacité prennent bien moins de place que des centaines de cordons individuels, et ils libèrent l’avant du rack pour les cordons de raccordement qui sont réellement amenés à changer. Prévoyez où stocker le surplus de câble, veillez à ce que les cordons de raccordement soient courts et laissez suffisamment d’espace pour accéder à l’arrière de chaque panneau. Pour les châssis qui terminent ces troncs, consultez notre Guide sur les baies de distribution optique.
Étiqueter, tester et documenter chaque lien
Un cluster comportant des milliers de liaisons MPO ne peut être géré correctement que si chaque liaison peut être localisée et si chaque mesure peut être comparée ultérieurement. La tenue de registres contribue également à la fiabilité : un technicien capable de repérer rapidement le bon port risque moins de débrancher le mauvais.
Étiquetage
La norme d'étiquetage du câblage, TIA-606-C, impose la mise en place d'identifiants sur les chemins de câbles, les panneaux de raccordement, les baies et les armoires, les ports, le câblage, les espaces de télécommunications et la grille de la salle du centre de données, entre autres.[23] Pour les clusters AI, étiquetez les deux extrémités de chaque câble principal et de chaque cordon de raccordement en indiquant le port, le nombre de fibres et la polarité, et veillez à ce que ces étiquettes correspondent au schéma de raccordement des fibres et au plan d'installation. Le guide sur Comment spécifier des cordons de raccordement MPO/MTP comprend le texte des étiquettes et l'emballage des commandes.
Tests et réception
- Inspectez chaque face d'extrémité, nettoyez-la si nécessaire, puis inspectez-la à nouveau. L'inspection visuelle ne remplace pas la mesure de l'atténuation et de la perte de retour.[24]
- Effectuer les tests de niveau 1 à l'aide d'un kit de test des pertes optiques : perte d'insertion, longueur et polarité.[25]
- Ajoutez des tests de niveau 2 (OTDR) lorsque vous devez localiser des événements le long du câble. Cela ne remplace pas la mesure de perte d'insertion de niveau 1.[25]
- Enregistrez la perte mesurée pour chaque liaison afin de disposer d'une référence pour un éventuel dépannage ultérieur.
Avant de passer commande : une liste de contrôle pour la planification
Précisez ces points avant de demander des devis pour les liaisons principales, les panneaux et les câbles de raccordement, ou avant de confier à quiconque l'installation de l'infrastructure réseau :
| Décider | Pourquoi est-ce important ? |
|---|---|
| Carte des liaisons : zones de départ et d'arrivée de chaque liaison, par réseau | Définit les tracés et les longueurs des câbles principaux |
| Interconnexion ou connexion croisée dans chaque zone | Définit le nombre de paires appariées par canal |
| Nombre de fibres du trunk et type de MPO (8 ou 16 fibres par port) | Doit être compatible avec le système optique, avec des fibres de rechange pour permettre une extension future |
| Budget des pertes par canal | Vérifie que le nombre de panneaux correspond à l'optique |
| Méthode de polarité pour l'ensemble du canal | Les pièces pré-assemblées sont fabriquées sur commande |
| Face d'extrémité (APC ou UPC) | Les connecteurs APC et UPC ne sont pas compatibles entre eux |
| Système d'étiquetage | Les étiquettes doivent correspondre à la carte des fibres |
| Niveau de test et valeurs d'acceptation | Niveau 1 sur chaque maillon ; Niveau 2 si nécessaire |
| Plan de croissance | Évolutivité : capacité des voies d'analyse et des panneaux pour le nombre final de fibres |
Avant la mise en service des liaisons, passez en revue la liste de contrôle relative à la couche physique figurant dans notre Guide du réseau 400G.
Connectivité par fibre optique pour les centres de données dédiés à l'IA, proposée par YingFeng
Fibre optique pour centres de données : liaisons et cordons de raccordement MPO/MTP, baies de distribution optique et adaptateurs pour câblage structuré. Voir les produits pour centres de données
YingFeng fournit centre de données fibre optique pour la partie passive de l'installation. Notre Câbles de raccordement MPO/MTP Ils sont disponibles en versions à 8, 12, 16 et 24 fibres ; des versions à faibles pertes sont proposées, et les assemblages MPO/MTP sont fabriqués en salle blanche. En ce qui concerne les panneaux, nous proposons des modèles à montage en rack, à fixation murale et sur pied. baies de distribution optique adaptés à l'environnement d'application et aux plans de chaque client ; les adaptateurs à fibre optique montés sur les panneaux ainsi que les composants de distribution de fibre à l'intérieur du châssis sont fabriqués en interne. Des échantillons sont disponibles sur demande. Pour obtenir un devis, envoyez-nous votre schéma de raccordement, le nombre de fibres par câble, le type de connecteur MPO, la méthode de polarité et la face d'extrémité.
Questions fréquemment posées
Qu'est-ce que le câblage structuré dans un centre de données ?
Il s'agit d'une installation de câblage au sein d'un centre de données, comportant des liaisons permanentes entre les zones de distribution fixes et les panneaux de brassage, où les équipements sont raccordés à l'aide de courtes cordes de raccordement. Les modifications sont effectuées en modifiant le raccordement au niveau du panneau, plutôt qu'en posant un nouveau câble point à point.
Quelles sont les normes applicables au câblage structuré des centres de données ?
Aux États-Unis, la norme ANSI/TIA-942-C (2024) porte sur l'infrastructure des centres de données, tandis que la norme ANSI/TIA-568.3-E concerne le câblage et les composants en fibre optique. Au niveau international, la norme ISO/IEC 11801-5:2017, qui régit le câblage générique dans les centres de données, a remplacé la norme ISO/IEC 24764 ; en Europe, la norme applicable est l'EN 50173-5:2018. L'étiquetage est conforme à la norme TIA-606-C.
Quelle est la différence entre une interconnexion et une connexion croisée ?
Une interconnexion est un panneau de raccordement situé à proximité des équipements actifs. Une connexion croisée ajoute un ensemble distinct de panneaux qui reflètent les ports des équipements, de sorte que n'importe quel port puisse être raccordé à n'importe quel autre. Une connexion croisée facilite les modifications, mais augmente le nombre de paires de connecteurs accouplés et entraîne une perte sur chaque canal.
Quel type de câble est utilisé dans les centres de données dédiés à l'IA ?
À l'intérieur d'un rack, on utilise couramment des câbles en cuivre à raccordement direct et des câbles optiques actifs. Entre les racks et les rangées, les émetteurs-récepteurs optiques sont reliés par des câbles à fibre optique, monomodes ou multimodes, et les interfaces optiques parallèles telles que le 400G DR4 utilisent des connecteurs MPO comportant 8 ou 16 fibres par port.
De combien de fibres un serveur GPU a-t-il besoin ?
Multipliez le nombre de ports de la structure par le nombre de fibres utilisées par chaque module optique. Un serveur doté de huit ports 400G équipés de modules optiques de type DR4 nécessite 64 fibres rien que pour la structure de calcul, sans compter les liaisons de stockage et de gestion. Voir De combien de fibres un cluster d'IA a-t-il besoin ? pour consulter la formule complète.
Références externes
- Fluke Networks : les interconnexions dans le centre de données (blog « Cabling Chronicles »)
- Consortium TIA pour les technologies de la fibre optique : ANSI/TIA-942-C : Norme relative à l'infrastructure de télécommunications pour les centres de données
- ANSI/TIA-942-C (07/05/2024), Norme relative à l'infrastructure de télécommunications pour les centres de données : Boutique des normes Accuris
- ISO/IEC 11801-5:2017, Technologies de l'information – Câblage générique des locaux des clients – Partie 5 : Centres de données : ISO
- BS EN 50173-5:2018, Technologies de l'information. Systèmes de câblage génériques – Espaces de centres de données (identique à la norme EN 50173-5:2018) : BSI Knowledge
- ANSI/TIA-568.3-E (29/09/2022), Norme relative au câblage et aux composants en fibre optique : Boutique des normes Accuris
- NVIDIA : Architecture de référence DGX SuperPOD avec DGX H100 et structures réseau (documentation produit)
- NVIDIA : Guide de l'utilisateur DGX H100/H200, Introduction (documentation produit)
- Consortium TIA pour les technologies de la fibre optique : Présentation de l'application 400GBASE-DR4
- Consortium TIA pour les technologies de la fibre optique : Présentation de l'application 400GBASE-SR8
- Consortium TIA pour les technologies de la fibre optique : Présentation de l'application 800GBASE-DR8
- NVIDIA : Conception du centre de données DGX SuperPOD pour H100, en cours de planification (documentation produit)
- Siemon : Libérer le potentiel de l'IA grâce à une connectivité fluide des centres de données (article de connaissance)
- NVIDIA : MMS4X00-NS-T, émetteur-récepteur OSFP à double port 800G vers 2x400G monomode (documentation produit)
- Data Centre Alliance : Câblage structuré dans les centres de données basés sur l'IA
- NVIDIA : Émetteur-récepteur OSFP à port unique MMS4A20 800 Gbps DR4, présentation générale (documentation produit)
- NVIDIA : Architecture de référence d'entreprise pour le GB300 NVL72, architecture logique réseau (documentation produit)
- Corning : Les prochaines étapes de la connectivité MTP (article de connaissance)
- L'Association des fibres optiques : Le guide de référence FOA sur la fibre optique – Raccordement
- L'Association des fibres optiques : Norme EIA/TIA 568 relative à la fibre optique
- Fluke Networks : Comment respecter la polarité des connecteurs MPO à 12 et 8 fibres (blog « Cabling Chronicles »)
- L'Association des fibres optiques : Le guide de référence FOA sur la fibre optique – Installation de la fibre optique
- Brady : Normes d'étiquetage des câbles : ANSI/TIA-606-C – Quelles sont les nouveautés ? (article de connaissance)
- IEC 61300-3-35:2022, Dispositifs d'interconnexion et composants passifs à fibres optiques – Partie 3-35 : Inspection visuelle des connecteurs à fibres optiques et des émetteurs-récepteurs à brin de fibre : Boutique en ligne de l'IEC
- Fluke Networks : Conseils pour les tests de fibre optique de niveau 1 et 2 (blog « Cabling Chronicles »)
