ÍNDICE
El cableado estructurado de un centro de datos consiste en una red planificada de fibra óptica y cobre: los troncales permanentes discurren entre las zonas de distribución fijas y los paneles de conexión, y los equipos se conectan a dichos paneles mediante cables de conexión cortos. La alternativa es el cableado punto a punto, a veces denominado cableado no estructurado, en el que cada enlace cuenta con un cable independiente. En un clúster de IA, la elección es más importante de lo habitual, ya que un solo servidor con GPU puede tener ocho o más puertos de red de alta velocidad, y cada puerto se transmite a través de varias fibras en un conector MPO.
A continuación, representamos gráficamente las áreas de distribución estándar en una sala de datos con GPU, mostramos cómo estimar el número de fibras a partir de tu propia topología, calculamos qué parte del presupuesto de pérdidas consume cada panel de conexiones y terminamos con una lista de los aspectos que hay que tener en cuenta antes de encargar los troncales.
¿Qué es el cableado estructurado de un centro de datos?
Un sistema de cableado estructurado divide la sala en zonas con funciones fijas. El cableado troncal conecta entre sí las zonas de distribución; el cableado horizontal va desde una zona de distribución hasta los racks de equipos; y los paneles de conexión situados en cada extremo asignan a cada fibra una posición fija y etiquetada. Cuando se traslada un equipo o se modifica un enlace, los técnicos vuelven a realizar las conexiones en el panel en lugar de tender un nuevo cable por las canalizaciones, lo que agiliza los cambios y limita el tiempo de inactividad. La infraestructura de cableado también permanece inalterada mientras los conmutadores y los componentes ópticos pasan de una generación a otra, y de ahí proviene su escalabilidad.
Los equipos se conectan al cableado de dos formas distintas. Una interconexión consiste en un panel de conexiones situado junto al equipo activo que distribuye sus puertos al resto de la sala. Una conexión cruzada añade un conjunto independiente de paneles que reflejan los puertos del equipo, de modo que cualquier puerto puede conectarse a cualquier otro puerto situado en la parte frontal de los paneles.[1]
Las áreas de distribución que se indican a continuación proceden de las normas del sector relativas al cableado de centros de datos. La columna de la derecha recoge nuestra interpretación aplicada a una sala de datos con GPU, no es una definición extraída de la norma.
| Área | Función en el diseño del cableado | Contenidos típicos de un clúster de IA (lectura aplicada) |
|---|---|---|
| Área de distribución principal (MDA) | Conexión cruzada principal de la sala | Conmutadores de red central y la interconexión principal de fibra óptica |
| Área de distribución intermedia (ADI) | Nivel opcional entre el MDA y los HDA en centros de mayor tamaño | Una conexión cruzada para una sala o un módulo |
| Área de distribución horizontal (HDA) | Sirve para una zona o fila de estanterías | Conmutadores de hoja, o los paneles que alimentan una fila de bastidores de GPU |
| Área de distribución de equipos (EDA) | Estanterías y armarios para equipos terminales | Servidores con GPU y nodos de almacenamiento |
La revisión de 2024 de la norma estadounidense añadió un requisito de que los armarios tengan una anchura mínima de 800 mm en las categorías MDA, IDA y HDA, y en la salida de los equipos sigue especificando únicamente conectores LC y MPO para la fibra óptica.[2]
Normas de cableado para centros de datos
| Región | Estándar | Qué incluye |
|---|---|---|
| Estados Unidos | ANSI/TIA-942-C (mayo de 2024) | Infraestructura de telecomunicaciones para centros de datos y salas de servidores[3] |
| Internacional | ISO/IEC 11801-5:2017 | Cableado genérico para centros de datos; sustituyó a la norma ISO/IEC 24764:2010[4] |
| Europa | EN 50173-5:2018 | Sistemas de cableado genéricos para espacios de centros de datos[5] |
| Componentes de fibra (EE. UU.) | ANSI/TIA-568.3-E (septiembre de 2022) | Cableado y componentes de fibra óptica[6] |
Varias guías de cableado siguen citando la norma ISO/IEC 24764 como la norma internacional para centros de datos. Dicha norma fue retirada y sustituida por la ISO/IEC 11801-5:2017, por lo que las especificaciones que se redacten en la actualidad deberían citar la nueva referencia.[4]
¿Qué cambia cuando el centro de datos ejecuta cargas de trabajo de IA?
Un clúster de IA sigue la misma estructura de cableado que cualquier centro de datos moderno. Lo que cambia es el número de enlaces, el número de fibras por enlace y la longitud de los enlaces. El ancho de banda de cada puerto se distribuye entre varias fibras que funcionan en paralelo, por lo que los puertos más rápidos suelen necesitar más fibras.
- Más de una red. La arquitectura de referencia DGX SuperPOD de NVIDIA distingue entre una estructura de cálculo, una estructura de almacenamiento, una red de gestión en banda y una red de gestión fuera de banda.[7] Cada uno de ellos transporta un tráfico de datos diferente y requiere su propio plan de cableado, y la estructura informática es, con diferencia, la más grande.
- Más puertos por servidor. Un DGX H100 cuenta con cuatro bahías OSFP que albergan ocho tarjetas ConnectX-7 de un solo puerto, cada una de las cuales funciona con InfiniBand a una velocidad de hasta 400 Gb/s de forma predeterminada.[8] En el diseño SuperPOD, los servidores se agrupan de 32 en 32 y cada canal de GPU se encuentra a un salto del mismo canal en los otros 31 nodos.[7] Nuestro Guía de redes con GPU explica el trazado de las vías.
- Óptica paralela. Un enlace 400GBASE-DR4 se transmite a través de 8 fibras monomodo.[9] El 400GBASE-SR8 utiliza 16 fibras multimodo[10] y el 800GBASE-DR8 utiliza 16 fibras monomodo.[11] Todos ellos terminan en conectores MPO, por lo que el número de fibras del tronco debe coincidir con el del módulo óptico, y no solo con el número de puertos.
- Distancias cortas. En el diseño del centro de datos DGX SuperPOD H100 de NVIDIA, la longitud total de cualquier cable InfiniBand no debe superar los 50 m.[12] Ese límite corresponde a un diseño de referencia, pero pone de manifiesto hasta qué punto los racks de IA se planifican en función de la longitud de los cables.
Cableado estructurado frente a enlaces punto a punto en un clúster de GPU
Ninguno de los dos enfoques es obligatorio para todo el clúster. Un fabricante de cableado señala que tanto las redes de IA de back-end como las de front-end pueden utilizar arquitecturas de cableado punto a punto o estructuradas, en función del diseño y la escala de la instalación.[13] Un fabricante de equipos de prueba adopta una postura más firme: el cableado punto a punto suele utilizarse únicamente dentro de un mismo rack —por ejemplo, desde un conmutador situado en la parte superior del rack hasta los servidores situados debajo— y no se recomienda su uso entre armarios o espacios funcionales.[1] Una configuración habitual utiliza ambas cosas: conexiones directas dentro del rack y cableado estructurado entre racks y filas.
| Enlace | Enfoque común | ¿Por qué? | Qué ver |
|---|---|---|---|
| Servidor que se va a cambiar de sitio dentro del mismo rack | Cables de cobre de conexión directa (DAC) o cables ópticos activos (AOC) | Camino más corto, sin necesidad de panel | Volumen de cables y flujo de aire en el rack |
| Conmutadores de «rack a leaf» para GPU en la misma fila | Cables de conexión MPO a través de un panel en cada rack, o cables ópticos directos | Depende de la frecuencia con la que se vaya a volver a cablear la fila. | Cada panel incorpora un par de conectores acoplados |
| De hoja en hoja, de fila en fila, de sala en sala | Troncos entre los paneles de las zonas de distribución | Tramos largos y permanentes; los cambios se realizan en el cuadro de distribución | Número de fibras, polaridad, presupuesto de pérdidas |
| Redes de almacenamiento y gestión | Cableado estructurado | Vínculos duraderos con movimientos y cambios constantes | Etiquetas y registros |
Los paneles de conexión no son una excepción en los enlaces de IA. El alcance de 100 m de un transceptor NVIDIA de modo único y doble puerto supone la presencia de dos paneles de conexión ópticos en el enlace.[14] La latencia tampoco es motivo para descartarlas: en los tramos cortos dentro de un pod (menos de 50 m), el retraso en la propagación de la luz se mantiene por debajo de los 250 nanosegundos, lo cual es insignificante en comparación con el retraso de la conmutación y del procesamiento de la señal.[15]
El verdadero coste de una conexión cruzada es óptico. Aporta más puntos de conexión —y, por lo tanto, más pérdida de inserción— al canal, a cambio de aislar los equipos activos y facilitar los traslados, las ampliaciones y los cambios.[1] En los siguientes apartados se explica cómo calcular dicho coste.
¿Cuántas fibras necesita un clúster de IA?
No existe una regla general fiable del tipo “diez veces más que un centro de datos normal”. El número de fibras viene determinado por la topología, así que cóntalas según tu propio diseño:
Fórmula para calcular el número de fibras
Fibras = (servidores × puertos de estructura por servidor × fibras por puerto) + (enlaces entre conmutadores × fibras por enlace) + enlaces de almacenamiento y de gestión en banda y fuera de banda + capacidad de reserva para el crecimiento.
Un ejemplo práctico: un DGX H100 cuenta con ocho puertos de cálculo de 400G.[8] Si cada puerto utiliza un módulo óptico de tipo DR4 con ocho fibras activas, un servidor necesita 64 fibras, y un grupo de 32 servidores necesita 2.048 fibras solo para conectarse a los conmutadores leaf. El conector MPO-12 de estos módulos ópticos utiliza cuatro fibras de transmisión y cuatro de recepción, y deja cuatro posiciones sin ocupar.[16] Un cable de fibra óptica de 16 fibras, como el SR8 o el DR8, necesita 16 fibras por puerto, por lo que hay que decidir conjuntamente el número de fibras del tronco y el tipo de conector.[10][11]
| GPU | Unidades escalables | Cables de conexión entre el servidor y los nodos periféricos | Cables de conector a conector |
|---|---|---|---|
| 144 | 2 | 288 | 288 |
| 288 | 4 | 576 | 576 |
| 576 | 8 | 1,152 | 1,152 |
Cada panel de conexiones consume una parte del presupuesto de pérdidas
Cada panel de conexiones de un canal añade un par de conectores acoplados. Un canal con una interconexión en cada extremo tiene dos conexiones; si se añade una conexión cruzada, son tres; y si hay interconexiones en ambos extremos más una conexión cruzada entre ellas, son cuatro.[1]
La óptica paralela deja poco margen para ello. Un canal 400GBASE-DR4 admite una pérdida de inserción de 3,0 dB, y su alcance máximo se calcula asignando 2,75 dB a las conexiones y empalmes.[9] Un canal 400GBASE-SR8 sobre fibra multimodo OM4 solo permite una pérdida total de 1,9 dB.[10] Las normas de cableado TIA-568 establecen en 0,75 dB la pérdida máxima para cada par de conectores acoplados.[20] Esto es lo que ocurre si todos los pares alcanzan ese límite máximo:
| Canal | Parejas emparejadas | Pérdida de conexión de 0,75 dB por par | Frente a DR4 (2,75 dB asignados) | En comparación con SR8 en OM4 (canal de 1,9 dB) |
|---|---|---|---|---|
| Dos interconexiones | 2 | 1,5 dB | Compatible con | Deja 0,4 dB para la fibra |
| Interconexión + conexión cruzada | 3 | 2,25 dB | Compatible con | Supera |
| Dos interconexiones + conexión cruzada | 4 | 3,0 dB | Supera | Supera |
La cifra de 0,75 dB es un límite máximo, no un valor típico. La cuestión es que el número de paneles es una decisión de diseño que conlleva un coste óptico. Cuenta cada par acoplado, utiliza conectores cuya pérdida especificada esté muy por debajo del límite máximo y mide cada enlace en el momento de la aceptación. Mantenga también la uniformidad en la cara final: los conectores APC y UPC no deben acoplarse. El Guía de redes de 400G indica el presupuesto para cada módulo óptico de 400G.
Polaridad del MPO: elige un método antes de realizar el pedido
La polaridad determina si cada fibra de transmisión llega a una fibra de recepción en el extremo opuesto. El método A utiliza troncales directas; el método B, troncales invertidas con el mismo tipo de cable de conexión en ambos extremos; y el método C invierte los pares adyacentes, por lo que no se recomienda para sistemas ópticos paralelos.[21] Elige un método para todo el canal durante la fase de diseño: los conjuntos MPO preterminados suelen fabricarse bajo pedido y, a menudo, no se pueden devolver.[21] Para conexiones ópticas directas, NVIDIA suministra cables MPO-12/APC de tipo B con conexión cruzada directa.[16] Nuestro Guía de conectores MPO explica cada método con diagramas, y la guía sobre Cómo especificar cables de conexión MPO/MTP muestra cómo indicar la polaridad en un pedido.
Rutas, densidad y gestión del cableado en centros de datos
La gestión del cableado de fibra óptica en los centros de datos se reduce a cuatro aspectos: proteger el radio de curvatura, mantener las rutas de tendido despejadas, garantizar el acceso a las fibras instaladas y protegerlas de daños accidentales. Una norma habitual en la práctica es que el radio de curvatura sea, como mínimo, 20 veces el diámetro del cable cuando está bajo tensión y 10 veces cuando está instalado, sin tensión.[22]
Las filas de GPU complican aún más cada una de estas tareas. Los orificios de entrada, los organizadores de cables verticales y las bandejas de cables aéreas suelen llenarse antes que los paneles, por lo que hay que dimensionar las rutas en función del número final de fibras, no de la primera fase. Unos pocos conductos modulares de gran capacidad ocupan mucho menos espacio que cientos de cables individuales, y dejan libre la parte delantera del rack para los cables de conexión que realmente se cambian. Planifica dónde se almacena el cable sobrante, mantén los cables de conexión cortos y deja espacio para acceder a la parte trasera de cada panel. Para los bastidores que terminan esos conductos, consulta nuestro Guía sobre los armarios de distribución óptica.
Etiquetar, comprobar y documentar cada enlace
Un clúster con miles de enlaces MPO solo se puede mantener si es posible localizar cada enlace y comparar posteriormente cada medición. Los registros también garantizan la fiabilidad: un técnico que sea capaz de localizar rápidamente el puerto correcto tiene menos probabilidades de desconectar el equivocado.
Etiquetado
La norma de etiquetado de cableado TIA-606-C exige la colocación de identificadores en las rutas de cableado, los paneles de conexión, los bastidores y armarios, los puertos, el cableado, los espacios de telecomunicaciones y la cuadrícula de la sala del centro de datos, entre otros elementos.[23] En el caso de los clústeres de IA, etiqueta ambos extremos de cada cable troncal y cable de conexión indicando el puerto, el número de fibras y la polaridad, y asegúrate de que las etiquetas coincidan con el mapa de fibras y el plano de instalación. La guía sobre Cómo especificar cables de conexión MPO/MTP incluye el texto de las etiquetas y el embalaje de los pedidos.
Pruebas y aceptación
- Inspecciona cada cara final, límpiala si es necesario y vuelve a inspeccionarla. La inspección visual no sustituye a la medición de la atenuación y la pérdida de retorno.[24]
- Realizar pruebas de Nivel 1 con un equipo de medición de pérdidas ópticas: pérdida de inserción, longitud y polaridad.[25]
- Añade pruebas de nivel 2 (OTDR) cuando sea necesario localizar eventos a lo largo del cable. Esto no sustituye a la medición de la pérdida de inserción de nivel 1.[25]
- Guarda los valores de pérdida medidos de cada enlace como referencia para la resolución de problemas posterior.
Antes de hacer el pedido: una lista de comprobación para la planificación
Aclara estos puntos antes de solicitar presupuestos para troncales, paneles y cables de conexión, o antes de pedir a nadie que instale la infraestructura de red:
| Decidir | Por qué es importante |
|---|---|
| Mapa de enlaces: zona de inicio y fin de cada enlace, por red | Establece el trazado y la longitud de los cables troncales |
| Interconexión o conexión cruzada en cada zona | Establece el número de pares emparejados por canal |
| Número de fibras del tronco y tipo de MPO (8 o 16 fibras por puerto) | Debe ser compatible con la óptica y contar con fibras de repuesto para futuras ampliaciones |
| Presupuesto de pérdidas por canal | Comprueba que el número de paneles se ajuste a la óptica |
| Método de polaridad para todo el canal | Las piezas preterminadas se fabrican bajo pedido |
| Cara frontal (APC o UPC) | APC y UPC no son compatibles entre sí |
| Sistema de etiquetado | Las etiquetas deben coincidir con el mapa de fibras |
| Nivel de prueba y valores de aceptación | Nivel 1 en todos los enlaces; Nivel 2 cuando sea necesario |
| Plan de crecimiento | Escalabilidad: capacidad de las vías analíticas y de los paneles para el recuento final de fibras |
Antes de que los enlaces entren en funcionamiento, revisa la lista de comprobación de la capa física que figura en nuestro Guía de redes de 400G.
Conectividad de fibra óptica para centros de datos de IA de YingFeng
Fibra óptica para centros de datos: cables troncales y de conexión MPO/MTP, armarios de distribución óptica y adaptadores para cableado estructurado. Ver productos para centros de datos
YingFeng suministra fibra óptica para centros de datos para la parte pasiva de la planta. Nuestra Cables de conexión MPO/MTP Están disponibles en versiones de 8, 12, 16 y 24 fibras; hay versiones de baja pérdida disponibles, y los conjuntos MPO/MTP se fabrican en una sala limpia. En cuanto a los paneles, fabricamos modelos para montaje en rack, en pared y de pie. armarios de distribución óptica según el entorno de aplicación y los planos de cada cliente, y los adaptadores de fibra óptica de los paneles, así como los componentes de distribución de fibra del interior del bastidor, se fabrican internamente. Hay muestras disponibles previa solicitud. Para solicitar un presupuesto, envíanos tu mapa de enlaces, el número de fibras por tronco, el tipo de MPO, el método de polaridad y la cara terminal.
Preguntas frecuentes
¿Qué es el cableado estructurado en un centro de datos?
Se trata de una instalación de cableado dentro de un centro de datos, con troncales permanentes entre las zonas de distribución fijas y los paneles de conexión, donde los equipos se conectan mediante cables de conexión cortos. Los cambios se realizan reconectando los cables en el panel, en lugar de tender un nuevo cable punto a punto.
¿Qué normas se aplican al cableado estructurado de los centros de datos?
En EE. UU., la norma ANSI/TIA-942-C (2024) regula la infraestructura de los centros de datos, mientras que la norma ANSI/TIA-568.3-E se ocupa del cableado y los componentes de fibra óptica. A nivel internacional, la norma ISO/IEC 11801-5:2017, relativa al cableado genérico en centros de datos, sustituyó a la norma ISO/IEC 24764; en Europa, la norma aplicable es la EN 50173-5:2018. El etiquetado se rige por la norma TIA-606-C.
¿Cuál es la diferencia entre una interconexión y una conexión cruzada?
Una interconexión es un panel de conexión situado junto al equipo activo. Una conexión cruzada añade un conjunto independiente de paneles que reflejan los puertos del equipo, de modo que cualquier puerto puede conectarse a cualquier otro. Una conexión cruzada facilita los cambios, pero añade pares de conectores acoplados y pérdidas en cada canal.
¿Qué tipo de cable se utiliza en los centros de datos de IA?
Dentro de un rack, es habitual encontrar cables de cobre de conexión directa y cables ópticos activos. Entre los racks y las filas, los transceptores ópticos se conectan mediante cables de fibra óptica, ya sean monomodo o multimodo, y las conexiones ópticas paralelas, como el 400G DR4, utilizan conectores MPO con 8 o 16 fibras por puerto.
¿Cuántas fibras necesita un servidor con GPU?
Multiplica el número de puertos de la red por el número de fibras que utiliza cada conector óptico. Un servidor con ocho puertos de 400G con conectores ópticos de tipo DR4 necesita 64 fibras solo para la red de cálculo, sin contar los enlaces de almacenamiento y gestión. Véase ¿Cuántas fibras necesita un clúster de IA? para ver la fórmula completa.
Referencias externas
- Fluke Networks: Conexiones cruzadas en el centro de datos (blog «Cabling Chronicles»)
- Consorcio Tecnológico de Fibra Óptica TIA: ANSI/TIA-942-C: Norma sobre infraestructura de telecomunicaciones para centros de datos
- ANSI/TIA-942-C (07/05/2024), Norma sobre infraestructura de telecomunicaciones para centros de datos: Tienda de productos normalizados de Accuris
- ISO/IEC 11801-5:2017, Tecnología de la información – Cableado genérico para instalaciones de los clientes – Parte 5: Centros de datos: ISO
- BS EN 50173-5:2018, Tecnología de la información. Sistemas de cableado genéricos – Espacios de centros de datos (idéntica a la norma EN 50173-5:2018): BSI Knowledge
- ANSI/TIA-568.3-E (29/09/2022), Norma sobre cableado y componentes de fibra óptica: Tienda de productos normalizados de Accuris
- NVIDIA: Arquitectura de referencia DGX SuperPOD con DGX H100 y estructuras de red (documentación del producto)
- NVIDIA: Guía del usuario de DGX H100/H200, Introducción (documentación del producto)
- Consorcio Tecnológico de Fibra Óptica TIA: Descripción general de la aplicación 400GBASE-DR4
- Consorcio Tecnológico de Fibra Óptica TIA: Descripción general de la aplicación 400GBASE-SR8
- Consorcio Tecnológico de Fibra Óptica TIA: Descripción general de la aplicación 800GBASE-DR8
- NVIDIA: Diseño del centro de datos DGX SuperPOD para H100, en fase de planificación (documentación del producto)
- Siemon: Aprovechar el potencial de la IA mediante una conectividad fluida en los centros de datos (artículo informativo)
- NVIDIA: MMS4X00-NS-T, transceptor de doble puerto OSFP de 800G a 2x400G de modo único (documentación del producto)
- Alianza de Centros de Datos: Cableado estructurado en centros de datos impulsados por IA
- NVIDIA: Transceptor OSFP de un solo puerto MMS4A20 DR4 de 800 Gbps, descripción general (documentación del producto)
- NVIDIA: Arquitectura de referencia empresarial para GB300 NVL72, Arquitectura lógica de red (documentación del producto)
- Corning: Los próximos pasos en la conectividad MTP (artículo informativo)
- La Asociación de Fibra Óptica: Guía de referencia de la FOA sobre fibra óptica: terminación
- La Asociación de Fibra Óptica: Norma EIA/TIA 568 para fibra óptica
- Fluke Networks: Cómo conseguir la polaridad correcta en los conectores MPO de 12 y 8 fibras (blog «Cabling Chronicles»)
- La Asociación de Fibra Óptica: Guía de referencia de la FOA sobre fibra óptica: instalación de fibra óptica
- Brady: Normas de etiquetado de cables: ANSI/TIA-606-C – ¿Qué hay de nuevo? (artículo informativo)
- IEC 61300-3-35:2022, Dispositivos de interconexión de fibra óptica y componentes pasivos – Parte 3-35: Inspección visual de conectores de fibra óptica y transceptores de ramal de fibra: Tienda online de la IEC
- Fluke Networks: Consejos para las pruebas de fibra óptica de nivel 1 y nivel 2 (blog «Cabling Chronicles»)
