Eine Reihe von GPU-Server-Racks in einem KI-Rechenzentrum, über denen Kabelrinnen aus Drahtgeflecht mit farbcodierten strukturierten Verkabelungen verlaufen

INHALTSVERZEICHNIS

Die strukturierte Verkabelung in Rechenzentren ist eine geplante Glasfaser- und Kupferverkabelungsanlage: Feste Trunk-Leitungen verlaufen zwischen festen Verteilbereichen und Patchfeldern, und die Geräte werden über kurze Patchkabel an diese Felder angeschlossen. Die Alternative ist die Punkt-zu-Punkt-Verkabelung, die manchmal auch als unstrukturierte Verkabelung bezeichnet wird, bei der für jede Verbindung ein separates Kabel verwendet wird. In einem KI-Cluster ist die Wahl wichtiger als sonst, da ein einzelner GPU-Server über acht oder mehr Hochgeschwindigkeits-Netzwerkanschlüsse verfügen kann und jeder Anschluss über mehrere Glasfaserleitungen in einem MPO-Stecker verläuft.

Im Folgenden ordnen wir die Standardverteilungsbereiche einer GPU-Datenhalle zu, zeigen, wie Sie die Faseranzahl anhand Ihrer eigenen Topologie abschätzen können, berechnen, wie viel vom Verlustbudget jedes Patchfeld beansprucht, und schließen mit einer Liste der Punkte ab, die Sie vor der Bestellung von Trunks klären sollten.

Was versteht man unter einer strukturierten Verkabelung im Rechenzentrum?

Ein strukturiertes Verkabelungssystem unterteilt den Raum in Bereiche mit festgelegten Funktionen. Die Backbone-Verkabelung verbindet die Verteilerbereiche miteinander, die horizontale Verkabelung verläuft von einem Verteilerbereich zu den Geräteracks, und Patchfelder an beiden Enden weisen jeder Glasfaser eine feste, beschriftete Position zu. Wenn Geräte versetzt werden oder sich eine Verbindung ändert, werden die Anschlüsse am Patchfeld neu konfiguriert, anstatt ein neues Kabel durch die Kabelkanäle zu verlegen. Dadurch lassen sich Änderungen schnell umsetzen und Ausfallzeiten minimieren. Die Verkabelungsinfrastruktur bleibt zudem erhalten, während Switches und optische Komponenten von einer Generation zur nächsten wechseln – darin liegt ihre Skalierbarkeit.

Die Geräte sind auf eine von zwei Arten an das Verkabelungssystem angeschlossen. Eine Verbindungseinheit ist ein Patchfeld neben dem aktiven Gerät, das dessen Anschlüsse auf den Rest des Raums verteilt. Eine Kreuzverbindung umfasst einen separaten Satz von Feldern, die die Geräteanschlüsse spiegeln, sodass jeder Anschluss mit jedem anderen Anschluss an der Vorderseite der Felder verbunden werden kann.[1]

Die unten aufgeführten Verteilungsbereiche stammen aus den Industriestandards für die Verkabelung von Rechenzentren. Die rechte Spalte enthält unsere angewandten Werte für eine GPU-Rechenzentrumshalle und stellt keine Definition aus dem Standard dar.

FlächeRolle bei der VerkabelungsplanungTypische Inhalte eines KI-Clusters (angewandtes Lesen)
Hauptverteilungsgebiet (MDA)Hauptverteilung für den RaumSpine-Switches und die Hauptfaserverbindung
Zwischenverteilungsgebiet (IDA)Optionale Ebene zwischen den MDA und den HDA an größeren StandortenEine Querverbindung für eine Halle oder einen Bereich
Horizontales Verteilungsgebiet (HDA)Für eine Zone oder eine RegalreiheLeaf-Switches oder die Panels, die eine Reihe von GPU-Racks versorgen
Ausrüstungsverteilungsbereich (EDA)Racks und Schränke für EndgeräteGPU-Server und Speicherknoten
Grundriss einer GPU-Rechenhalle: die MDA mit Spine-Switches, eine HDA am Ende jeder GPU-Reihe, EDA-Racks in den Reihen, Backbone-Verbindungen von der MDA zu jeder HDA und horizontale Verbindungen von jeder HDA zu den GPU-Racks

Mit der Überarbeitung der US-Norm im Jahr 2024 wurde eine Anforderung für Schränke mit einer Breite von mindestens 800 mm in den Bereichen MDA, IDA und HDA hinzugefügt, und am Geräteausgang sind weiterhin ausschließlich LC- und MPO-Stecker für Glasfaserkabel vorgeschrieben.[2]

Verkabelungsstandards für Rechenzentren

RegionStandardWas ist abgedeckt?
Vereinigte StaatenANSI/TIA-942-C (Mai 2024)Telekommunikationsinfrastruktur für Rechenzentren und Serverräume[3]
InternationalISO/IEC 11801-5:2017Allgemeine Verkabelung für Rechenzentren; diese Norm ersetzt ISO/IEC 24764:2010[4]
EuropaEN 50173-5:2018Universelle Verkabelungssysteme für Rechenzentrumsräume[5]
Faserkomponenten (USA)ANSI/TIA-568.3-E (September 2022)Glasfaserverkabelung und Komponenten[6]

In einigen Verkabelungsleitfäden wird ISO/IEC 24764 nach wie vor als internationaler Standard für Rechenzentren aufgeführt. Da dieser Standard zurückgezogen und durch ISO/IEC 11801-5:2017 ersetzt wurde, sollten heute verfasste Spezifikationen die neuere Nummer angeben.[4]

Was ändert sich, wenn im Rechenzentrum KI-Workloads ausgeführt werden?

Ein KI-Cluster folgt derselben Verkabelungsstruktur wie jedes moderne Rechenzentrum. Was sich ändert, ist die Anzahl der Verbindungen, die Anzahl der Glasfaserleitungen pro Verbindung und die Länge der Verbindungen. Die Bandbreite jedes Ports wird auf mehrere parallel arbeitende Glasfaserleitungen aufgeteilt, sodass schnellere Ports oft mehr Glasfaserleitungen benötigen.

  • Mehr als ein Netzwerk. Die DGX SuperPOD-Referenzarchitektur von NVIDIA unterscheidet zwischen einer Rechen-Fabric, einer Speicher-Fabric, einem In-Band-Verwaltungsnetzwerk und einem Out-of-Band-Verwaltungsnetzwerk.[7] Jedes davon überträgt unterschiedliche Datenmengen und erfordert einen eigenen Verkabelungsplan, wobei die Recheninfrastruktur bei weitem den größten Anteil ausmacht.
  • Mehr Ports pro Server. Ein DGX H100 verfügt über vier OSFP-Einschübe, die acht ConnectX-7-Karten mit jeweils einem Anschluss versorgen, wobei jede Karte standardmäßig mit einer InfiniBand-Übertragungsrate von bis zu 400 Gb/s arbeitet.[8] Beim SuperPOD-Design werden die Server jeweils zu 32 zusammengefasst, und jede GPU-Leitung ist nur einen Hop von der entsprechenden Leitung auf den anderen 31 Knoten entfernt.[7] Unser Leitfaden zum GPU-Netzwerk erläutert den Gleisverlauf.
  • Paralleloptik. Eine 400GBASE-DR4-Verbindung wird über 8 Singlemode-Fasern übertragen.[9] 400GBASE-SR8 verwendet 16 Multimode-Fasern[10] und 800GBASE-DR8 nutzt 16 Singlemode-Fasern.[11] Da alle diese Kabel mit MPO-Steckern enden, muss die Anzahl der Trunk-Fasern mit der des optischen Moduls übereinstimmen, nicht nur mit der Anzahl der Anschlüsse.
  • Kurze Entfernungen. Im DGX SuperPOD H100-Rechenzentrumsdesign von NVIDIA darf die Gesamtlänge eines InfiniBand-Kabels 50 m nicht überschreiten.[12] Diese Grenze gilt zwar nur für ein Referenzdesign, zeigt aber, wie genau die AI-Racks unter Berücksichtigung der Kabellänge geplant sind.
Schematische Darstellung eines GPU-Servers, der an vier separate Netzwerke angeschlossen ist: Rechen-Fabric, Speicher-Fabric, In-Band-Management und Out-of-Band-Management, wobei die Rechen-Fabric die meisten Kabel benötigt

Strukturierte Verkabelung vs. Punkt-zu-Punkt-Verbindungen in einem GPU-Cluster

Keiner der beiden Ansätze ist für den gesamten Cluster zwingend vorgeschrieben. Ein Verkabelungshersteller weist darauf hin, dass sowohl Back-End- als auch Front-End-KI-Netzwerke je nach Auslegung und Größe der Anlage Punkt-zu-Punkt- oder strukturierte Verkabelungsarchitekturen verwenden können.[13] Ein Hersteller von Testgeräten vertritt eine strengere Haltung: Punkt-zu-Punkt-Verkabelung wird in der Regel nur innerhalb eines Racks verwendet, beispielsweise von einem Top-of-Rack-Switch zu den darunter liegenden Servern, und wird zwischen Schränken oder Funktionsbereichen nicht empfohlen.[1] Ein gängiges Konzept nutzt beides: direkte Verbindungen innerhalb des Racks sowie eine strukturierte Verkabelung zwischen den Racks und Reihen.

LinkGemeinsamer AnsatzWarumWas man sich ansehen sollte
Server soll im selben Rack ausgetauscht werdenDirekt angeschlossene Kupferkabel (DAC) oder aktive optische Kabel (AOC)Kürzester Weg, keine Tafel erforderlichKabelvolumen und Luftstrom am Rack
GPU-Rack-zu-Leaf-Switches in derselben ReiheMPO-Patchkabel durch eine Blende in jedem Rack oder direkt angeschlossene GlasfaserkabelDas hängt davon ab, wie oft die Reihe neu verkabelt wird.Jede Platine verfügt über ein passendes Steckverbinderpaar
Von Blatt zu Buchrücken, von Reihe zu Reihe, von Saal zu SaalHauptleitungen zwischen den Feldern in den VerteilungsbereichenLange, dauerhafte Laufzeiten; Änderungen werden am Bedienfeld vorgenommenFaseranzahl, Polarität, Verlustbudget
Speicher- und VerwaltungsnetzwerkeStrukturierte VerkabelungLangfristige Verbindungen mit regelmäßigen Verschiebungen und VeränderungenEtiketten und Datensätze

Patchfelder bilden bei KI-Verbindungen keine Ausnahme. Die Reichweite von 100 m eines NVIDIA-Single-Mode-Transceivers mit zwei Anschlüssen setzt zwei optische Patchfelder in der Verbindung voraus.[14] Auch die Latenz ist kein Grund, sie zu meiden: Bei kurzen Strecken innerhalb eines Pods (unter 50 m) bleibt die Lichtausbreitungsverzögerung unter 250 Nanosekunden, was im Vergleich zu den Verzögerungen durch Schaltvorgänge und Signalverarbeitung vernachlässigbar ist.[15]

Die eigentlichen Kosten einer Querverbindung liegen im optischen Bereich. Sie führt zu mehr Verbindungspunkten und damit zu höheren Einfügungsverlusten im Kanal, ermöglicht jedoch im Gegenzug die Isolierung aktiver Geräte und erleichtert Umzüge, Erweiterungen und Änderungen.[1] In den folgenden Abschnitten wird erläutert, wie sich diese Kosten beziffern lassen.

Wie viele Fasern benötigt ein KI-Cluster?

Es gibt keine verlässliche Faustregel wie “das Zehnfache eines normalen Rechenzentrums”. Die Anzahl der Glasfaserleitungen ergibt sich aus der Topologie; berechnen Sie diese daher anhand Ihres eigenen Entwurfs:

Formel zur Berechnung der Faseranzahl

Fasern = (Server × Fabric-Ports pro Server × Fasern pro Port) + (Verbindungen zwischen Switches × Fasern pro Verbindung) + Speicher-, In-Band- und Out-of-Band-Management-Verbindungen + Reservekapazität für zukünftiges Wachstum.

Ein Beispiel: Ein DGX H100 verfügt über acht 400G-Rechenports.[8] Wenn jeder Port ein DR4-Modul mit acht aktiven Fasern verwendet, benötigt ein Server 64 Fasern, und eine Gruppe von 32 Servern benötigt 2.048 Fasern, nur um die Leaf-Switches zu erreichen. Der MPO-12-Stecker an diesen Modulen nutzt vier Sende- und vier Empfangsfasern, wobei vier Positionen ungenutzt bleiben.[16] Ein 16-Faser-Glasfaserkabel wie SR8 oder DR8 benötigt 16 Fasern pro Anschluss; legen Sie daher die Anzahl der Trunk-Fasern und den Steckertyp gemeinsam fest.[10][11]

Veröffentlichte Referenzdesigns bieten eine zusätzliche Überprüfung. Die Unternehmens-Referenzarchitektur von NVIDIA für den GB300 NVL72 listet folgende Kabelanzahlen für ihre Dual-Plane-Compute-Fabric auf:[17]
GPUs Skalierbare Einheiten Compute-to-Leaf-Kabel Kabel von Switch zu Switch
144 2 288 288
288 4 576 576
576 8 1,152 1,152
Bei solchen Volumina sind werkseitig konfektionierte Trunks eine gängige Wahl. Ein Glasfaserhersteller beschreibt, dass vollständig werkseitig konfektionierte Kabel in den Haupt-, Horizontal- und Geräteverteilungsbereichen eingesetzt werden, um Kosten zu senken und die Installation der strukturierten Verkabelung schneller und einheitlicher zu gestalten.[18] Insbesondere der Abschluss von Einmodenfasern erfolgt in der Regel in einer Reinraumumgebung unter Verwendung von wärmeausgehärtetem Epoxidharz und maschineller Politur.[19] Unser Leitfaden zum 400G-Netzwerk gibt die Anzahl der Fasern an, die für jede 400G-Glasfaser benötigt wird.

Jedes Patchfeld beansprucht einen Teil des Verlustbudgets

Jedes Patchfeld in einem Kanal fügt ein gestecktes Steckerpaar hinzu. Ein Kanal mit einer Verbindung an jedem Ende verfügt über zwei Anschlüsse; durch Hinzufügen einer Querverbindung werden es drei, und bei Verbindungen an beiden Enden sowie einer Querverbindung dazwischen sind es vier.[1]

Die Paralleloptik lässt dafür wenig Spielraum. Ein 400GBASE-DR4-Kanal lässt eine Einfügungsdämpfung von 3,0 dB zu, und seine maximale Reichweite wird unter der Annahme berechnet, dass 2,75 dB auf Anschlüsse und Spleiße entfallen.[9] Ein 400GBASE-SR8-Kanal über einer OM4-Multimode-Glasfaser lässt insgesamt nur 1,9 dB zu.[10] Die TIA-568-Verkabelungsnormen legen den maximalen Verlust für jedes gesteckte Steckverbinderpaar auf 0,75 dB fest.[20] Folgendes passiert, wenn jedes Paar diese Obergrenze erreicht:

KanalPaareVerbindungsverlust von 0,75 dB pro PaarGegenüber DR4 (2,75 dB zugewiesen)Im Vergleich zu SR8 auf OM4 (1,9-dB-Kanal)
Zwei Verbindungsleitungen21,5 dBPassend für0,4 dB für Glasfaser
Verbindung + Querverbindung32,25 dBPassend fürÜbertrifft
Zwei Verbindungsleitungen + Querverbindung43,0 dBÜbertrifftÜbertrifft
Drei Fibre-Channel-Verbindungen zwischen einem GPU-Server und einem Leaf-Switch mit zwei, drei bzw. vier gesteckten Steckerpaaren, bei denen ein Verbindungsverlust von 1,5, 2,25 und 3,0 dB bei 0,75 dB pro Paar gegenüber der 2,75-dB-Zuweisung für 400GBASE-DR4 auftritt

Der Wert von 0,75 dB ist ein Höchstwert, kein typischer Wert. Der springende Punkt ist, dass die Anzahl der Paneele eine konstruktive Entscheidung ist, die mit einem optischen Preis verbunden ist. Zählen Sie jedes gesteckte Paar, verwenden Sie Steckverbinder, deren angegebene Dämpfung deutlich unter dem Höchstwert liegt, und messen Sie jede Verbindung bei der Abnahme. Achten Sie auch auf einheitliche Endflächen: APC- und UPC-Stecker sollten nicht miteinander verbunden werden. Die Leitfaden zum 400G-Netzwerk gibt das Budget für jede 400G-Optik an.

MPO-Polarität: Wählen Sie vor der Bestellung eine Methode aus

Die Polarität entscheidet darüber, ob jede Sendefaser eine Empfangsfaser am anderen Ende erreicht. Bei Methode A werden geradverlaufende Trunks verwendet, bei Methode B umgekehrte Trunks mit demselben Patchkabel-Typ an beiden Enden, und bei Methode C werden benachbarte Paare vertauscht, weshalb diese Methode für parallele Optik nicht empfohlen wird.[21] Wählen Sie bei der Planung eine Methode für den gesamten Kanal aus: Vorkonfektionierte MPO-Baugruppen werden in der Regel auf Bestellung gefertigt und können oft nicht zurückgegeben werden.[21] Für direkte Optik-zu-Optik-Verbindungen liefert NVIDIA gerade Crossover-Kabel vom Typ B (MPO-12/APC).[16] Unser Leitfaden zu MPO-Steckverbindern erläutert jede Methode anhand von Diagrammen, und der Leitfaden zu So legen Sie MPO/MTP-Patchkabel fest zeigt, wie man die Polarität in eine Bestellung einträgt.

Kabelwege, Kabeldichte und Kabelmanagement in Rechenzentren

Beim Kabelmanagement für Glasfaserkabel in Rechenzentren kommt es auf vier Dinge an: die Einhaltung des Biegeradius, die Gewährleistung freier Verlegungswege, die Zugänglichkeit der verlegten Glasfaserkabel sowie deren Schutz vor versehentlichen Beschädigungen. Eine gängige Faustregel lautet: Der Biegeradius sollte unter Zugbelastung mindestens das 20-Fache des Kabeldurchmessers betragen und nach der Verlegung, wenn keine Zugbelastung mehr besteht, mindestens das 10-Fache.[22]

GPU-Reihen erschweren all dies zusätzlich. Einführungsöffnungen, vertikale Kabelführungen und überkopfliegende Kabelrinnen sind oft schon voll, bevor die Panels es sind; dimensionieren Sie die Kabelwege daher für die endgültige Glasfaseranzahl und nicht für die erste Phase. Einige wenige modulare Sammelkabel mit hoher Kapazität benötigen weitaus weniger Platz als Hunderte einzelner Kabel und lassen an der Vorderseite des Racks Platz für Patchkabel, die tatsächlich ausgetauscht werden. Planen Sie, wo Kabelüberschuss aufbewahrt wird, halten Sie Patchkabel kurz und lassen Sie Platz, um die Rückseite jeder Platte zu erreichen. Informationen zu den Rahmen, an denen diese Sammelkabel enden, finden Sie in unserem Leitfaden zu optischen Verteilerkästen.

Jeden Link kennzeichnen, prüfen und dokumentieren

Ein Cluster mit Tausenden von MPO-Verbindungen lässt sich nur dann warten, wenn jede Verbindung auffindbar ist und jede Messung später verglichen werden kann. Aufzeichnungen tragen zudem zur Zuverlässigkeit bei: Ein Techniker, der den richtigen Anschluss schnell finden kann, wird weniger wahrscheinlich den falschen ausstecken.

Kennzeichnung

Die Norm zur Kennzeichnung von Verkabelungen, TIA-606-C, schreibt unter anderem Kennzeichnungen für Kabelwege, Patchfelder, Racks und Schränke, Anschlüsse, Kabel, Telekommunikationsräume sowie das Raster des Rechenzentrumsraums vor.[23] Bei AI-Clustern kennzeichnen Sie beide Enden jedes Hauptkabels und jedes Patchkabels mit dem Port, der Faseranzahl und der Polarität und achten Sie darauf, dass die Kennzeichnungen mit der Faserkarte und der Installationszeichnung übereinstimmen. Die Anleitung zu So legen Sie MPO/MTP-Patchkabel fest umfasst den Text auf den Etiketten und die Verpackung der Bestellungen.

Prüfung und Abnahme

  1. Überprüfen Sie jede Stirnfläche, reinigen Sie sie bei Bedarf und überprüfen Sie sie erneut. Eine Sichtprüfung ersetzt nicht die Messung der Dämpfung und der Rückflussdämpfung.[24]
  2. Führen Sie Tier-1-Tests mit einem Testgerät für optische Verluste durch: Einfügedämpfung, Länge und Polarität.[25]
  3. Führen Sie Tier-2-Tests (OTDR) durch, wenn Sie Ereignisse entlang des Kabels lokalisieren müssen. Diese ersetzen jedoch nicht die Tier-1-Messung der Einfügungsdämpfung.[25]
  4. Speichern Sie den gemessenen Verlust jeder Verbindung als Ausgangswert für die spätere Fehlerbehebung.
Fünfstufiger Abnahmeablauf für Glasfaserverbindungen: Prüfen Sie die MPO-Stirnfläche, reinigen Sie sie bei Bedarf, prüfen Sie sie erneut, führen Sie Tier-1-Tests für Einfügedämpfung, Länge und Polarität durch und speichern Sie anschließend die gemessene Dämpfung als Referenzwert.

Bevor Sie bestellen: Eine Checkliste zur Planung

Klären Sie diese Punkte, bevor Sie Angebote für Trunks, Panels und Patchkabel einholen oder jemanden mit der Installation der Netzwerkinfrastruktur beauftragen:

EntscheidenWarum das wichtig ist
Linkkarte: Start- und Endbereich jedes Links, nach NetzwerkLegt die Verlegung und die Länge der Hauptkabel fest
Verbindung oder Querverbindung in jedem BereichLegt die Anzahl der gekoppelten Paare pro Kanal fest
Anzahl der Trunk-Fasern und MPO-Typ (8 oder 16 Fasern pro Port)Muss zur Optik passen, mit Ersatzfasern für den Ausbau
Verlustbudget pro KanalÜberprüft, ob die Anzahl der Paneele zur Optik passt
Polaritätsverfahren für den gesamten KanalVorkonfektionierte Teile werden auf Bestellung gefertigt
Stirnseite (APC oder UPC)APC und UPC lassen sich nicht miteinander verbinden
KennzeichnungsschemaDie Beschriftungen müssen mit der Faserkarte übereinstimmen
Prüfniveau und AbnahmewerteStufe 1 auf jeder Verbindung; Stufe 2, wo erforderlich
WachstumsplanSkalierbarkeit: Kapazität der Analysesysteme und Testpanels für die endgültige Faseranzahl

Bevor die Verbindungen in Betrieb genommen werden, gehen Sie bitte die Checkliste für die physikalische Schicht in unserem Leitfaden zum 400G-Netzwerk.

Glasfaserverbindungen für KI-Rechenzentren von YingFeng

Glasfasertechnik für Rechenzentren: MPO/MTP-Verbindungskabel und Patchkabel, optische Verteilerkästen und Adapter für die strukturierte Verkabelung. Rechenzentrumsprodukte anzeigen

YingFeng liefert Glasfasertechnik für Rechenzentren für den passiven Teil der Anlage. Unser MPO/MTP-Patchkabel Sie sind in Ausführungen mit 8, 12, 16 und 24 Fasern erhältlich, es gibt verlustarme Varianten, und die MPO/MTP-Baugruppen werden in einem Reinraum gefertigt. Bei den Panels bieten wir Modelle für die Rack-Montage, die Wandmontage und die Aufstellung auf dem Boden an optische Verteilerkästen an die Anwendungsumgebung und die Zeichnungen jedes Kunden angepasst, und die Glasfaseradapter an den Blenden sowie die Glasfaserverteiler im Inneren des Rahmens werden im eigenen Haus gefertigt. Muster sind auf Anfrage erhältlich. Um ein Angebot zu erhalten, Schicken Sie uns Ihre Verknüpfungskarte, die Anzahl der Fasern pro Trunk, den MPO-Typ, die Polaritätsmethode und die Endfläche.

Häufig gestellte Fragen

Was versteht man unter strukturierter Verkabelung in einem Rechenzentrum?

Es handelt sich um eine Verkabelungsanlage in einem Rechenzentrum mit festen Verbindungsleitungen zwischen festen Verteilerbereichen und Patchfeldern, an die die Geräte über kurze Patchkabel angeschlossen werden. Änderungen werden durch ein Umstecken an den Patchfeldern vorgenommen, anstatt eine neue Punkt-zu-Punkt-Verbindung zu verlegen.

In den USA regelt ANSI/TIA-942-C (2024) die Infrastruktur von Rechenzentren und ANSI/TIA-568.3-E die Glasfaserverkabelung und -komponenten. International hat die Norm ISO/IEC 11801-5:2017, die sich auf die allgemeine Verkabelung in Rechenzentren bezieht, die Norm ISO/IEC 24764 abgelöst; in Europa gilt die Norm EN 50173-5:2018. Die Kennzeichnung erfolgt gemäß TIA-606-C.

Eine Verbindungsleiste ist ein Patchfeld, das sich neben den aktiven Geräten befindet. Eine Kreuzverbindung umfasst eine separate Reihe von Feldern, die die Geräteanschlüsse widerspiegeln, sodass jeder Anschluss mit jedem anderen verbunden werden kann. Eine Kreuzverbindung erleichtert Änderungen, führt jedoch zu zusätzlichen Steckverbinderpaaren und Verlusten in jedem Kanal.

Innerhalb eines Racks kommen häufig direkt angeschlossene Kupferkabel und aktive Glasfaserkabel zum Einsatz. Zwischen den Racks und Reihen werden optische Transceiver über Glasfaserkabel – Single-Mode oder Multimode – verbunden, und parallele optische Verbindungen wie 400G DR4 verwenden MPO-Stecker mit 8 oder 16 Fasern pro Port.

Multiplizieren Sie die Anzahl der Fabric-Ports mit der Anzahl der Fasern, die jede Optik benötigt. Ein Server mit acht 400G-Ports und DR4-Optiken benötigt allein für die Rechen-Fabric 64 Fasern – noch bevor Speicher- und Verwaltungsverbindungen hinzukommen. Siehe Wie viele Fasern benötigt ein KI-Cluster? für die vollständige Formel.

Externe Verweise

  1. Fluke Networks: Querverbindungen im Rechenzentrum (Blog „Cabling Chronicles“)
  2. TIA-Konsortium für Glasfasertechnologie: ANSI/TIA-942-C: Norm für die Telekommunikationsinfrastruktur von Rechenzentren
  3. ANSI/TIA-942-C (07.05.2024), Norm für Telekommunikationsinfrastruktur in Rechenzentren: Accuris-Standard-Shop
  4. ISO/IEC 11801-5:2017, Informationstechnik – Allgemeine Verkabelung in Kundenräumen – Teil 5: Rechenzentren: ISO
  5. BS EN 50173-5:2018, Informationstechnik. Allgemeine Verkabelungssysteme – Rechenzentrumsräume (identisch mit EN 50173-5:2018): BSI-Wissen
  6. ANSI/TIA-568.3-E (29.09.2022), Norm für Glasfaserverkabelung und -komponenten: Accuris-Standard-Shop
  7. NVIDIA: DGX SuperPOD-Referenzarchitektur mit DGX H100 und Netzwerkarchitekturen (Produktdokumentation)
  8. NVIDIA: DGX H100/H200 – Benutzerhandbuch, Einführung (Produktdokumentation)
  9. TIA-Konsortium für Glasfasertechnologie: 400GBASE-DR4 – Anwendungsübersicht
  10. TIA-Konsortium für Glasfasertechnologie: 400GBASE-SR8 – Anwendungsübersicht
  11. TIA-Konsortium für Glasfasertechnologie: 800GBASE-DR8 – Anwendungsübersicht
  12. NVIDIA: DGX SuperPOD-Rechenzentrumsdesign für H100, Planung (Produktdokumentation)
  13. Siemon: Das Potenzial der KI durch nahtlose Konnektivität im Rechenzentrum ausschöpfen (Informationsartikel)
  14. NVIDIA: MMS4X00-NS-T 800G Twin-Port-OSFP-zu-2x400G-Single-Mode-Transceiver (Produktdokumentation)
  15. Data Centre Alliance: Strukturierte Verkabelung in KI-gesteuerten Rechenzentren
  16. NVIDIA: MMS4A20 800 Gbit/s DR4 Single-Port-OSFP-Transceiver, Übersicht (Produktdokumentation)
  17. NVIDIA: Referenzarchitektur für Unternehmen für GB300 NVL72, Logische Netzwerkarchitektur (Produktdokumentation)
  18. Corning: Die nächsten Schritte in der MTP-Konnektivität (Informationsartikel)
  19. Der Verband der Glasfaserindustrie: Das FOA-Nachschlagewerk für Glasfasertechnik – Anschlusstechnik
  20. Der Verband der Glasfaserindustrie: EIA/TIA 568 für Glasfasertechnik
  21. Fluke Networks: Die richtige Polarität bei 12- und 8-Faser-MPO-Steckern (Blog „Cabling Chronicles“)
  22. Der Verband der Glasfaserindustrie: Das FOA-Nachschlagewerk für Glasfasertechnik – Installation von Glasfaserkabeln
  23. Brady: Normen zur Kabelkennzeichnung: ANSI/TIA-606-C – Was gibt es Neues? (Informationsartikel)
  24. IEC 61300-3-35:2022, Glasfaserverbindungsvorrichtungen und passive Komponenten – Teil 3-35: Sichtprüfung von Glasfasersteckverbindern und Transceivern mit Glasfaser-Stub: IEC-Webshop
  25. Fluke Networks: Tipps für Tier-1- und Tier-2-Glasfasertests (Blog „Cabling Chronicles“)