Diagrama en el que se muestra un conmutador InfiniBand y un conmutador Ethernet conectados a la misma fila de un panel de conexiones de fibra MPO mediante cables troncales y cables de conexión MPO OS2 amarillos idénticos

ÍNDICE

Tanto InfiniBand como Ethernet pueden transportar el tráfico RDMA que conecta los servidores con GPU en un clúster de IA, y ambas tecnologías gestionan actualmente grandes cargas de trabajo de IA. InfiniBand es una estructura dedicada con sus propios conmutadores y modelo de gestión, mientras que Ethernet transporta RDMA a través de RoCE en conmutadores Ethernet y ha ido ganando terreno en las redes de back-end de IA.

En el caso de las instalaciones de fibra óptica, la diferencia entre InfiniBand y Ethernet es menor de lo que muchos compradores esperan. En la generación 400G de NVIDIA, los transceptores originales funcionan con cualquiera de los dos protocolos, y los conectores MPO-12/APC, los cables de fibra y los paneles de conexión son los mismos. Sin embargo, no todos los números de referencia son compatibles con ambos protocolos. A continuación comparamos las dos estructuras de red y, a continuación, analizamos capa por capa, desde la tarjeta de red hasta el panel de conexiones, para mostrar qué cambia al cambiar de protocolo y qué se mantiene igual.

InfiniBand y Ethernet (RoCE): en qué consiste cada uno

InfiniBand es una arquitectura de red diseñada para la computación de alto rendimiento y la inteligencia artificial. Cuenta con sus propios conmutadores, adaptadores y cables, y una única asociación comercial se encarga de redactar la especificación. Ethernet es la tecnología de red de uso general que se encuentra en casi todos los centros de datos. Para el entrenamiento de la IA, transporta el mismo tráfico RDMA a través de RoCE, siglas de «RDMA over Converged Ethernet». RDMA permite que un servidor lea o escriba en la memoria de otro servidor sin involucrar la CPU de este último, lo que acelera la transferencia de datos entre las GPU.

Hay dos organismos distintos que los definen. La InfiniBand Trade Association (IBTA) define y mantiene tanto las especificaciones de InfiniBand como las de RoCE. La capa física y el control de acceso al medio de la red Ethernet cableada los define el grupo de trabajo IEEE 802.3, encargado de redactar los estándares de Ethernet. RoCE es un protocolo de transporte estándar del sector que permite que el acceso directo a memoria remota (RDMA) funcione en redes Ethernet convencionales de las capas 2 y 3, y la IBTA publicó su primera especificación en 2010.

Las velocidades de InfiniBand evolucionan por generaciones. Según la hoja de ruta de la IBTA, actualmente ya se comercializa InfiniBand NDR a 400 Gb/s, y está previsto que los productos GDR a 1,6 Tb/s salgan al mercado en torno al año 2028.[1]

Una aclaración sobre el alcance: comparamos la red de escalabilidad horizontal que conecta los servidores. NVLink es una interconexión de escalabilidad vertical para la comunicación entre GPU dentro de un sistema a escala de rack, por lo que se suma a InfiniBand o Ethernet en lugar de sustituir a ninguna de ellas. Nuestra Guía de redes con GPU explica cómo encajan entre sí las capas de escalabilidad vertical y horizontal.

Ampliación vertical frente a ampliación horizontal de la red de clústeres de IA

InfiniBand frente a Ethernet: resumen

InfiniBand Ethernet con RoCE
Definido por IBTA IEEE 802.3 para Ethernet; IBTA para el transporte RoCE
RDMA Nativo A través del RoCE
Pérdida de paquetes Diseñado para estructuras de E/S sin pérdidas El funcionamiento sin pérdidas depende de la configuración del control de flujo y de la congestión en toda la estructura.
Gestión de tejidos Un gestor de subredes se encarga del enrutamiento Herramientas estándar de conmutación y gestión de redes Ethernet
Interruptores Conmutadores NVIDIA Quantum InfiniBand Varios proveedores; en 2024, Celestica, NVIDIA y Huawei lideraron el mercado de conmutadores Ethernet de back-end para IA
Escala publicada Decenas de miles de nodos en una subred (IBTA) Diseños de clústeres RoCE para hasta 32 000 GPU (Meta)
Tarjetas de red ConnectX-7 es compatible con cualquiera de los dos protocolos ConnectX-7 es compatible con cualquiera de los dos protocolos
Óptica y fibra óptica MPO-12/APC, monomodo o multimodo Los mismos conectores y fibra óptica que en la generación de 400G
Hay algunas líneas que requieren contexto. La IBTA describe InfiniBand como una tecnología que permite crear estructuras de E/S totalmente redundantes y sin pérdidas, con un gestor de subredes que se encarga del enrutamiento del tráfico. En Ethernet, es necesario configurar una red sin pérdidas. Meta, que utiliza RoCE para el entrenamiento de IA en producción, informó de que la configuración de los búferes requirió un equilibrio más cuidadoso que en InfiniBand debido al control de flujo de RoCE, que es de grano más grueso. Las cifras de escala son de diferente naturaleza. La cifra de la IBTA describe lo que la arquitectura puede soportar, mientras que las cifras de Meta proceden de la producción: diseños para clústeres RoCE de hasta 32 000 GPU y una variante grande de Llama 3 entrenada en 16 000 GPU de un clúster RoCE de 24 000 GPU.[2] Dell’Oro Group ha señalado a Celestica, NVIDIA y Huawei como líderes del segmento Ethernet del mercado de conmutadores de back-end para IA en 2024.

Latencia y rendimiento: por qué las cifras no coinciden

A menudo se elige InfiniBand por su baja latencia, pero las afirmaciones de que una estructura tiene menor latencia que otra rara vez comparan elementos equivalentes. Algunas se refieren a la latencia de puerto a puerto a través de un conmutador, otras a la latencia de extremo a extremo entre hosts, y pocas especifican si la estructura estaba cargada o congestionada. La IBTA destaca la latencia ultrabaja de InfiniBand, con retrasos medidos de 600 ns de extremo a extremo,[1] pero no especifica las condiciones de la prueba, y los resultados de Ethernet dependen del conmutador, de la tarjeta de red, de la configuración y del patrón de tráfico.

En el entrenamiento de IA, una sola cifra de latencia dice muy poco. Los trabajos de entrenamiento sincronizan las GPU una y otra vez, por lo que todo el trabajo espera a la transferencia más lenta, y un único enlace congestionado puede convertirse en el cuello de botella. El rendimiento bajo carga es tan importante como la latencia. En la red RoCE de Meta, los flujos que colisionaban tras un fallo en un enlace ralentizaban todo el trabajo de entrenamiento, y el objetivo declarado de su trabajo sobre la congestión era lograr una latencia de cola predecible. La comparación justa es el tiempo de finalización del trabajo en tu propia topología, con tu propia carga de trabajo. Nuestro Guía de redes con GPU aborda las causas más habituales de la lentitud del tráfico durante los entrenamientos.

Ethernet frente a InfiniBand: ¿cuál es la mejor opción para tu clúster de IA?

Ambas estructuras se utilizan para los mismos fines: entrenamiento de IA a gran escala y HPC, por lo que, a la hora de decidir entre Ethernet e InfiniBand, ninguna de las dos sale ganadora en todos los casos. La propia NVIDIA publica diseños de referencia para ambas. Su arquitectura DGX SuperPOD H100 utiliza InfiniBand como estructura de computación y también una estructura de red InfiniBand para el almacenamiento, mientras que su arquitectura de referencia empresarial para GB300 NVL72 utiliza Spectrum-X Ethernet como estructura de computación.

Si esto se ajusta a tu proyecto Apunta hacia ¿Por qué?
Estás implementando un diseño de referencia del proveedor tal y como se ha publicado Lo que sea que especifique ese diseño Los conmutadores, los cables y las longitudes se validan conjuntamente
Tu equipo ya utiliza redes Ethernet a gran escala y compra a varios proveedores Ethernet con RoCE Las mismas herramientas, competencias y cadena de suministro que el resto de la red
Necesitas una estructura diseñada desde el principio para RDMA sin pérdidas InfiniBand Menos ajustes en la configuración del control de flujo y de la congestión
El clúster compartirá la conmutación con el tráfico de front-end o de almacenamiento Ethernet con RoCE Una única tecnología de conmutación para todas las redes
Varios miles de GPU o más O bien Ambos han demostrado su escalabilidad en implementaciones o diseños publicados

El mercado se está decantando por Ethernet. Dell’Oro Group informó en julio de 2025 de que InfiniBand acaparaba más del 80 % de las redes de back-end de IA cuando comenzó su estudio a finales de 2023, y que ahora Ethernet está ganando terreno en ese segmento.[3] Se trata de una previsión de mercado, no de una decisión sobre ningún clúster en concreto. Ambas líneas de productos siguen comercializándose y recibiendo asistencia técnica.

Diagrama de flujo para decidir entre InfiniBand y Ethernet

¿Cambiar de estructura implica instalar un nuevo cableado de fibra óptica?

En general, no, siempre y cuando se mantenga la misma generación de velocidad y la misma interfaz óptica. El protocolo reside en los conmutadores y, en parte, en el firmware del transceptor. Los conectores, la fibra y los paneles de conexión son pasivos: gestionan la transmisión de datos sin saber qué protocolo transportan. El ancho de banda por puerto también es el mismo en ambos lados en esta generación: 400 Gb/s por puerto. A continuación se muestra un esquema capa por capa de la generación 400G (100G-PAM4) de NVIDIA:

Capa¿Ha habido cambios en el protocolo?Lo que dice la documentación del proveedor
InterruptoresSíNVIDIA Quantum-2 NDR InfiniBand y Spectrum-4 SN5600 Ethernet son gamas de conmutadores independientes, pero ambas utilizan módulos OSFP de dos puertos que albergan dos puertos de 400 Gb/s.
Tarjetas de redNormalmente noConnectX-7 es compatible con ambos protocolos en la misma tarjeta, que se activan mediante el conmutador InfiniBand o Ethernet al que se conecta; algunos adaptadores ConnectX-6 y BlueField-2 son específicos para un protocolo concreto.
TransceptoresComprueba el número de referenciaLos transceptores NDR/400GbE originales son compatibles con ambos protocolos, y su firmware habilita el protocolo del conmutador; las versiones más recientes, exclusivas para Ethernet, terminan en “-T”.”[4]
ConectoresNoMPO-12/APC: ocho fibras en uso, cuatro posiciones libres
Cables de fibra ópticaNoNVIDIA afirma que se utilizan los mismos cables de fibra óptica tanto en su tecnología NDR como en sus componentes ópticos más recientes.
Paneles de conexión y conductosNoLas cifras de alcance de estas ópticas se basan en la presencia de dos paneles de conexión óptica en el enlace.
Cables DAC y AOCComprueba el número de referenciaComprueba que cada componente del cable sea compatible con el conmutador y la velocidad previstos; algunos adaptadores más antiguos requieren cables específicos para cada protocolo.

La interfaz óptica la determina el transceptor, no el protocolo. Estos componentes ópticos de la generación 400G de NVIDIA muestran este patrón:

ParteFormatoConectorFibraAlcance
MMS4X00-NSOSFP de dos puertos (2 × 400G)2 × MPO-12/APCModo único, 1310 nmHasta 100 m
MMS4X00-NMOSFP de dos puertos (2 × 400G)2 × MPOModo único, 1310 nmHasta 500 m
MMA4Z00-NSOSFP de dos puertos (2 × 400G)2 × MPO-12/APCMultimodo, 850 nmHasta 50 m
MMA1Z00-NS400QSFP112 (400G)MPO-12/APCMultimodo, 850 nmHasta 50 m

Qué se mantiene y qué no

Dentro de una generación y una interfaz óptica, la infraestructura de fibra estructurada (troncales MPO-12/APC, paneles de conexión y cables de conexión) puede mantenerse tal cual. Lo que cambia son los conmutadores. Es necesario comprobar los números de referencia de los transceptores, los cables DAC y AOC, y las longitudes de los cables deben verificarse según el nuevo diseño de referencia. El diseño DGX SuperPOD H100 de NVIDIA, por ejemplo, limita la longitud de cualquier cable InfiniBand a 50 m.

Lo que sí cambia la fibra es un cambio de interfaz óptica. Tanto un enlace monomodo de tipo DR4 como uno multimodo de tipo SR4 utilizan MPO-12/APC, pero no se pueden intercambiar la fibra monomodo y la multimodo. Nuestra Guía de redes de 400G enumera la fibra que necesita cada cable óptico de 400G, y nuestro Cables de conexión MPO/MTP abarquen ambos tipos de fibra.

Cableado de InfiniBand a Ethernet: ¿qué cambia?

Migración o ejecución simultánea: una lista de comprobación del cableado

Utiliza esta lista cuando traslades un clúster de una estructura a otra, o cuando una sala de servidores albergue ambas:
  1. Comprueba todos los números de referencia de los transceptores. Comprueba que sea compatible con el protocolo de destino; existen versiones que solo admiten Ethernet.
  2. Mantén la interfaz óptica. Reutilice la fibra óptica únicamente cuando la nueva conexión utilice el mismo conector y el mismo tipo de fibra (monomodo o multimodo).
  3. Mantén la APC en todo momento. Los conectores APC y UPC no deben acoplarse entre sí.
  4. Utiliza un único método de polaridad. Los cables ópticos directos de NVIDIA son cables cruzados rectos de tipo B MPO-12/APC.
  5. Vuelve a comprobar los baúles que conservas. Mide la pérdida de inserción y compárala con el límite del canal; por ejemplo, 3,0 dB para 400GBASE-DR4.[5]
  6. Vuelve a comprobar las longitudes comparándolas con el nuevo diseño de referencia. Los límites de longitud varían según cada diseño.
  7. Prepárate para la próxima velocidad. Las cajas de conmutación XDR de NVIDIA también admiten cables y transceptores NDR para garantizar la compatibilidad con versiones anteriores. Una interfaz de 16 fibras, como la 800GBASE-DR8, requiere 16 fibras por puerto.
Para obtener información sobre la zonificación, el recuento de fibras, el etiquetado y las pruebas de aceptación de la propia planta, consulta nuestra guía sobre Cableado estructurado de centros de datos para clústeres de IA.

Dónde encaja Ultra Ethernet

El Ultra Ethernet Consortium (UEC) es una organización de normalización basada en el consenso que opera bajo los auspicios de la Fundación Linux, y publicó la Especificación Ultra Ethernet 1.0 el 11 de junio de 2025.[6] Su objetivo es adaptar mejor Ethernet al tráfico de IA y HPC. Se trata de una nueva especificación en el ámbito de las redes de IA, que aún no constituye una alternativa a InfiniBand o RoCE, por lo que, por el momento, la infraestructura de IA sigue basándose en una de esas dos tecnologías. Si está planificando una estructura de red en la actualidad, pregunte a sus proveedores de conmutadores y tarjetas de red qué características de UEC admiten sus productos y si los componentes ópticos y el cableado existentes son compatibles.

Enlaces de fibra MPO para clústeres InfiniBand y Ethernet

Cables de conexión MPO/MTP: Cables troncales y de conexión MPO/MTP, tanto monomodo como multimodo, para enlaces de 400G y 800G. Ver cables MPO/MTP

Los enlaces pasivos descritos anteriormente funcionan igual en cualquiera de las dos estructuras, y son los que suministra YingFeng. Nuestros Cables de conexión MPO/MTP Están disponibles en modo único OS2 y multimodo OM3 u OM4, con extremos APC o UPC, en versiones de 8, 12, 16 y 24 fibras; hay versiones de baja pérdida disponibles. Los conjuntos MPO/MTP se fabrican en una sala limpia y hay muestras disponibles bajo pedido. Para otros componentes pasivos, consulte nuestro fibra óptica para centros de datos. Para solicitar un presupuesto, cuéntanos los números de referencia de los transceptores, las longitudes de enlace y el método de polaridad.

Preguntas frecuentes

¿InfiniBand es de cobre o de fibra óptica?

Ambas cosas. Las conexiones cortas dentro de un rack suelen utilizar cables de cobre de conexión directa, mientras que las conexiones más largas utilizan cables ópticos activos o transceptores con fibra. En la generación de 400G, los transceptores utilizan conectores MPO-12/APC sobre fibra monomodo o multimodo.

Ambos. NVIDIA comercializa conmutadores Quantum InfiniBand y conmutadores Spectrum Ethernet, publica diseños de referencia para cada uno de ellos y sus tarjetas de red ConnectX-7 son compatibles con ambos protocolos.

Sí, dentro de la misma generación y con la misma interfaz óptica. Los conectores MPO-12/APC y la fibra son los mismos; lo que hay que comprobar es si cada transceptor es compatible con el protocolo de destino. Véase ¿Cambiar de estructura implica instalar un nuevo cableado de fibra óptica? para ver el desglose completo.

RoCE (RDMA sobre Ethernet convergente) es un protocolo de transporte estándar del sector, definido por la IBTA, que permite que RDMA funcione en redes Ethernet convencionales de las capas 2 y 3. La primera especificación se publicó en 2010.

En las redes de back-end de IA, Ethernet ha ido ganando cuota de mercado rápidamente desde finales de 2023, según el informe de julio de 2025 de Dell’Oro Group. Tanto Ethernet como InfiniBand siguen comercializándose e implantándose, y NVIDIA publica diseños de referencia para ambas tecnologías.

Referencias externas

  1. Asociación Comercial de InfiniBand: Acerca de InfiniBand
  2. Gangidi et al., «RDMA sobre Ethernet para el entrenamiento distribuido de IA a escala meta», ACM SIGCOMM 2024: Biblioteca Digital de la ACM
  3. Dell’Oro Group: Ethernet está ganando la batalla contra InfiniBand en las redes de back-end de IA (comunicado de prensa, 15 de julio de 2025)
  4. NVIDIA: Cables y transceptores LinkX de 400 Gb/s para la plataforma principal (documentación del producto)
  5. Consorcio Tecnológico de Fibra Óptica TIA: Descripción general de la aplicación 400GBASE-DR4
  6. Consorcio Ultra Ethernet: Especificación de Ultra Ethernet v1.0 (11 de junio de 2025)