ÍNDICE DE CONTEÚDO
Tanto o InfiniBand quanto a Ethernet podem transportar o tráfego RDMA que interliga servidores com GPUs em um cluster de IA, e ambos já executam grandes cargas de trabalho de IA atualmente. O InfiniBand é uma malha dedicada, com seus próprios switches e modelo de gerenciamento, enquanto a Ethernet transporta RDMA por meio do RoCE em switches Ethernet e vem ganhando espaço nas redes de back-end de IA.
Para a infraestrutura de fibra óptica, a diferença entre InfiniBand e Ethernet é menor do que muitos compradores esperam. Na geração 400G da NVIDIA, os transceptores originais funcionam com qualquer um dos protocolos, e os conectores MPO-12/APC, os cabos de fibra e os painéis de conexão são os mesmos. No entanto, nem todos os números de peça são compatíveis com os dois protocolos. A seguir, comparamos as duas estruturas de rede e, em seguida, analisamos camada por camada — da placa de rede até o painel de conexões — para mostrar o que muda quando você troca de protocolo e o que permanece igual.
InfiniBand e Ethernet (RoCE): o que é cada um deles
O InfiniBand é uma arquitetura de rede desenvolvida para computação de alto desempenho e IA. Possui seus próprios switches, adaptadores e cabos, e uma única associação comercial é responsável pela elaboração de suas especificações. A Ethernet é a tecnologia de rede de uso geral encontrada em praticamente todos os data centers. Para o treinamento de IA, ela transporta o mesmo tráfego RDMA por meio do RoCE, sigla para RDMA over Converged Ethernet. O RDMA permite que um servidor leia ou grave na memória de outro servidor sem envolver a CPU desse servidor, o que acelera a transferência de dados entre GPUs.
Dois órgãos diferentes as definem. A InfiniBand Trade Association (IBTA) define e mantém tanto as especificações do InfiniBand quanto as do RoCE. A camada física e o controle de acesso à mídia da Ethernet com fio são definidos pelo grupo de trabalho IEEE 802.3, responsável pela elaboração dos padrões da Ethernet. O RoCE é um padrão de transporte do setor que permite que o Acesso Direto à Memória Remota (RDMA) seja executado em redes comuns de Ethernet das camadas 2 e 3, e a IBTA divulgou sua primeira especificação em 2010.
As velocidades do InfiniBand evoluem por gerações. De acordo com o roteiro da IBTA, o InfiniBand NDR de 400 Gb/s já está disponível no mercado, e os produtos GDR de 1,6 Tb/s estão previstos para o período de 2028.[1]
Um ponto a ser destacado: comparamos a rede de expansão horizontal que conecta os servidores. O NVLink é uma interconexão de expansão vertical para comunicação entre GPUs dentro de um sistema em escala de rack; portanto, ele coexiste com o InfiniBand ou a Ethernet, em vez de substituir qualquer um deles. Nosso Guia de redes com GPU explica como as camadas de expansão vertical e horizontal se encaixam.
InfiniBand x Ethernet: uma visão geral
| InfiniBand | Ethernet com RoCE | |
|---|---|---|
| Definido por | IBTA | IEEE 802.3 para Ethernet; IBTA para o transporte RoCE |
| RDMA | Nativo | Por meio do RoCE |
| Perda de pacotes | Projetado para estruturas de E/S sem perdas | O comportamento sem perdas depende das configurações de controle de fluxo e de congestionamento em toda a malha |
| Gestão de tecidos | Um gerenciador de sub-rede controla o roteamento | Ferramentas padrão de comutação e operações de Ethernet |
| Interruptores | Switches NVIDIA Quantum InfiniBand | Vários fornecedores; em 2024, a Celestica, a NVIDIA e a Huawei lideraram o mercado de comutação Ethernet de back-end para IA |
| Escala publicada | Dezenas de milhares de nós em uma sub-rede (IBTA) | Projetos de cluster RoCE para até 32.000 GPUs (Meta) |
| Placas de rede | O ConnectX-7 é compatível com ambos os protocolos | O ConnectX-7 é compatível com ambos os protocolos |
| Óptica e fibra | MPO-12/APC, monomodo ou multimodo | Os mesmos conectores e fibra na geração 400G |
Latência e desempenho: por que os números divergem
O InfiniBand costuma ser escolhido por sua baixa latência, mas as alegações de que uma malha tem latência menor do que a outra raramente comparam elementos equivalentes. Algumas comparações são de porta a porta por meio de um switch, outras são de ponta a ponta entre hosts, e poucas especificam se a malha estava sobrecarregada ou congestionada. A IBTA cita a latência ultrabaixa do InfiniBand, com atrasos medidos de 600 ns de ponta a ponta,[1] mas não especifica as condições de teste, e os resultados da Ethernet dependem do switch, da placa de rede, da configuração e do padrão de tráfego.
No treinamento de IA, um único valor de latência diz muito pouco. As tarefas de treinamento sincronizam as GPUs repetidamente; assim, toda a tarefa fica à espera da transferência mais lenta, e um único link congestionado pode se tornar o gargalo. A taxa de transferência sob carga é tão importante quanto a latência. Na rede RoCE da Meta, fluxos que colidiam após uma falha de link desaceleravam toda a tarefa de treinamento, e o objetivo declarado de seu trabalho de congestionamento era uma latência de cauda previsível. A comparação justa é o tempo de conclusão da tarefa em sua própria topologia, com sua própria carga de trabalho. Nossa Guia de redes com GPU aborda as causas mais comuns da lentidão no tráfego de treinamento.
Ethernet x InfiniBand: qual é a melhor opção para o seu cluster de IA?
Ambas as estruturas atendem aos mesmos casos de uso — treinamento de IA em grande escala e computação de alto desempenho (HPC) —; portanto, na escolha entre Ethernet e InfiniBand, nenhuma delas se destaca em todos os casos. A própria NVIDIA publica projetos de referência para ambas as tecnologias. Sua arquitetura DGX SuperPOD H100 utiliza InfiniBand como malha de computação e também como malha de rede para armazenamento, enquanto sua arquitetura de referência empresarial para o GB300 NVL72 utiliza Ethernet Spectrum-X como malha de computação.
| Se essa descrição se aplica ao seu projeto | Isso aponta para | Por que |
|---|---|---|
| Você está implantando um projeto de referência do fornecedor conforme publicado | Seja o que for que esse projeto especifique | Os interruptores, cabos e comprimentos são validados em conjunto |
| Sua equipe já opera redes Ethernet em grande escala e adquire equipamentos de vários fornecedores | Ethernet com RoCE | As mesmas ferramentas, competências e cadeia de suprimentos que o restante da rede |
| Você quer uma arquitetura projetada desde o início para RDMA sem perdas | InfiniBand | Menos ajustes nas configurações de controle de fluxo e de congestionamento |
| O cluster compartilhará a comutação com o tráfego do front-end ou do armazenamento | Ethernet com RoCE | Uma única tecnologia de comutação para todas as redes |
| Vários milhares de GPUs ou mais | Ou | Ambos demonstraram escalabilidade em implantações ou projetos publicados |
O mercado está migrando para a Ethernet. O Dell’Oro Group informou, em julho de 2025, que a InfiniBand detinha mais de 80% das redes de back-end de IA quando sua pesquisa teve início, no final de 2023, e que a Ethernet está agora ganhando terreno nesse segmento.[3] Essa é uma previsão de mercado, não uma decisão sobre nenhum cluster específico. Ambas as linhas de produtos continuam sendo vendidas e recebem suporte.
A troca de estruturas de rede implica a instalação de um novo cabeamento de fibra óptica?
Na maioria dos casos, não, desde que você permaneça na mesma geração de velocidade e na mesma interface óptica. O protocolo está nos switches e, em algumas partes, no firmware do transceptor. Os conectores, a fibra e os painéis de conexão são passivos: eles lidam com a transmissão de dados sem saber qual protocolo estão transportando. A largura de banda da porta também é a mesma em ambos os lados nesta geração: 400 Gb/s por porta. Aqui está a imagem, camada por camada, da geração 400G (100G-PAM4) da NVIDIA:
| Camada | Houve alguma mudança no protocolo? | O que diz a documentação do fornecedor |
|---|---|---|
| Interruptores | Sim | O NVIDIA Quantum-2 NDR InfiniBand e o Spectrum-4 SN5600 Ethernet são linhas de switches distintas, mas ambas utilizam gabinetes OSFP de duas portas que acomodam duas portas de 400 Gb/s |
| Placas de rede | Normalmente, não | O ConnectX-7 oferece suporte a ambos os protocolos na mesma placa, ativados pelo switch InfiniBand ou Ethernet ao qual está conectado; alguns adaptadores ConnectX-6 e BlueField-2 são específicos para um determinado protocolo |
| Transceptores | Verifique o número da peça | Os transceptores NDR/400GbE originais são compatíveis com ambos os protocolos, e seu firmware habilita o protocolo do switch; as versões mais recentes, exclusivas para Ethernet, terminam em “-T”[4] |
| Conectores | Não | MPO-12/APC: oito fibras em uso, quatro posições vazias |
| Cabos de fibra óptica | Não | A NVIDIA afirma que os mesmos cabos de fibra são utilizados tanto em seus componentes ópticos NDR quanto nos mais recentes |
| Painéis de conexão e troncos | Não | Os valores de alcance para esses componentes ópticos pressupõem a presença de dois painéis de conexão óptica no link |
| Cabos DAC e AOC | Verifique o número da peça | Verifique se cada parte do cabo é compatível com o switch e a velocidade pretendidos; alguns adaptadores mais antigos exigem cabos específicos para determinados protocolos |
A interface óptica é definida pelo transceptor, e não pelo protocolo. Esses componentes ópticos da geração 400G da NVIDIA ilustram esse padrão:
| Parte | Fator de forma | Conector | Fibra | Alcance |
|---|---|---|---|---|
| MMS4X00-NS | OSFP de duas portas (2 × 400G) | 2 × MPO-12/APC | Modo único, 1310 nm | Até 100 m |
| MMS4X00-NM | OSFP de duas portas (2 × 400G) | 2 × MPO | Modo único, 1310 nm | Até 500 m |
| MMA4Z00-NS | OSFP de duas portas (2 × 400G) | 2 × MPO-12/APC | Multimodo, 850 nm | Até 50 m |
| MMA1Z00-NS400 | QSFP112 (400G) | MPO-12/APC | Multimodo, 850 nm | Até 50 m |
O que é mantido e o que não é
Dentro de uma geração e de uma interface óptica, a infraestrutura de fibra estruturada (trunks MPO-12/APC, painéis de conexão e cabos de conexão) pode permanecer no lugar. Os switches são substituídos. Os transceptores, os cabos DAC e AOC precisam ter seus números de peça verificados, e os comprimentos dos cabos devem ser comparados com o novo projeto de referência. O projeto DGX SuperPOD H100 da NVIDIA, por exemplo, limita o comprimento de qualquer cabo InfiniBand a 50 m.
O que realmente muda é a interface óptica. Tanto um link monomodo do tipo DR4 quanto um link multimodo do tipo SR4 utilizam MPO-12/APC, mas as fibras monomodo e multimodo não podem ser trocadas entre si. Nossa Guia da rede 400G apresenta a fibra necessária para cada fibra óptica de 400G, e nosso Cabos de conexão MPO/MTP abrangem os dois tipos de fibra.
Migração ou operação simultânea: uma lista de verificação para o cabeamento
- Verifique todos os números de peça dos transceptores. Verifique se ele é compatível com o protocolo de destino; existem versões exclusivas para Ethernet.
- Mantenha a interface óptica. Reutilize a fibra somente quando a nova fibra óptica utilizar o mesmo conector e o mesmo tipo de fibra (monomodo ou multimodo).
- Mantenha a APC durante todo o processo. Os conectores APC e UPC não devem ser acoplados.
- Mantenha um único método de polaridade. Os cabos ópticos diretos da NVIDIA são cabos cruzados retos, do tipo B MPO-12/APC.
- Faça um novo teste nos troncos que você mantiver. Meça a perda de inserção e compare-a com o limite do canal, por exemplo, 3,0 dB para 400GBASE-DR4.[5]
- Verifique novamente os comprimentos em relação ao novo projeto de referência. Os limites de comprimento variam de acordo com cada projeto.
- Planeje a próxima velocidade. Os gabinetes de switch XDR da NVIDIA também aceitam cabos e transceptores NDR para garantir a compatibilidade com versões anteriores. Uma interface de 16 fibras, como a 800GBASE-DR8, requer 16 fibras por porta.
Onde a Ultra Ethernet se encaixa
O Ultra Ethernet Consortium (UEC) é uma organização de padronização baseada no consenso que opera sob a égide da Linux Foundation e divulgou a Especificação Ultra Ethernet 1.0 em 11 de junho de 2025.[6] O objetivo é tornar a Ethernet mais adequada para o tráfego de IA e HPC. Trata-se de uma nova especificação na área de redes de IA, que ainda não é uma alternativa ao InfiniBand ou ao RoCE; portanto, por enquanto, a infraestrutura de IA ainda é construída com base em uma dessas duas tecnologias. Se você estiver planejando uma malha hoje, pergunte aos seus fornecedores de switches e placas de rede quais recursos do UEC seus produtos suportam e se os componentes ópticos e o cabeamento existentes são compatíveis.
Ligações de fibra MPO para clusters InfiniBand e Ethernet
Cabos Patch MPO/MTP: Cabos de ligação e cabos de conexão MPO/MTP em modo único e multimodo para links de 400G e 800G. Ver cabos MPO/MTP
Os links passivos descritos acima funcionam da mesma forma em qualquer uma das estruturas, e são esses que a YingFeng fornece. Nossos Cabos de conexão MPO/MTP Estão disponíveis nas versões OS2 monomodo e OM3 ou OM4 multimodo, com extremidades APC ou UPC, nas versões de 8, 12, 16 e 24 fibras; há versões de baixa perda disponíveis. Os conjuntos MPO/MTP são produzidos em sala limpa, e amostras estão disponíveis mediante solicitação. Para outras peças passivas, consulte nosso fibra óptica para data center. Para obter um orçamento, conte-nos os números de peça dos transceptores, os comprimentos dos links e o método de polaridade.
Perguntas frequentes
O InfiniBand é de cobre ou de fibra óptica?
Ambos. As conexões curtas dentro de um rack costumam utilizar cabos de conexão direta de cobre, enquanto as conexões mais longas utilizam cabos ópticos ativos ou transceptores com fibra. Na geração 400G, os transceptores utilizam conectores MPO-12/APC em fibra monomodo ou multimodo.
A NVIDIA usa InfiniBand ou Ethernet?
Ambos. A NVIDIA comercializa switches Quantum InfiniBand e switches Spectrum Ethernet, publica projetos de referência para cada um deles, e suas placas de rede ConnectX-7 são compatíveis com ambos os protocolos.
É possível usar os mesmos cabos de fibra óptica para InfiniBand e Ethernet?
Sim, dentro da mesma geração e interface óptica. Os conectores MPO-12/APC e a fibra são os mesmos; o que é preciso verificar é se cada transceptor é compatível com o protocolo desejado. Consulte A troca de estruturas de rede implica a instalação de um novo cabeamento de fibra óptica? para ver a análise completa.
O que é o RoCE?
O RoCE (RDMA over Converged Ethernet) é um padrão de transporte do setor, definido pela IBTA, que permite que o RDMA seja executado em redes Ethernet comuns das camadas 2 e 3. A primeira especificação foi lançada em 2010.
A Ethernet está substituindo o InfiniBand?
Nas redes de back-end de IA, a Ethernet vem ganhando participação de mercado rapidamente desde o final de 2023, de acordo com o relatório de julho de 2025 do Dell’Oro Group. Tanto a Ethernet quanto a InfiniBand continuam sendo comercializadas e implantadas, e a NVIDIA publica projetos de referência para ambas.
Referências externas
- Associação Comercial InfiniBand: Sobre o InfiniBand
- Gangidi et al., RDMA sobre Ethernet para treinamento distribuído de IA em escala meta, ACM SIGCOMM 2024: Biblioteca Digital da ACM
- Dell’Oro Group: A Ethernet está vencendo a disputa contra o InfiniBand nas redes de back-end de IA (comunicado à imprensa, 15 de julho de 2025)
- NVIDIA: Conjuntos de cabos e transceptores LinkX de 400 Gb/s (documentação do produto)
- Consórcio de Tecnologia de Fibra Óptica TIA: Visão geral da aplicação 400GBASE-DR4
- Consórcio Ultra Ethernet: Especificação Ultra Ethernet v1.0 (11 de junho de 2025)