Схема, на которой показаны коммутатор InfiniBand и коммутатор Ethernet, подключенные к одному и тому же ряду оптоволоконной патч-панели MPO с помощью одинаковых желтых магистральных кабелей и соединительных шнуров OS2 MPO

ОГЛАВЛЕНИЕ

Как InfiniBand, так и Ethernet могут передавать трафик RDMA, связывающий серверы с графическими процессорами в кластере искусственного интеллекта, и на сегодняшний день обе технологии используются для обработки крупных рабочих нагрузок в области искусственного интеллекта. InfiniBand представляет собой специализированную сетевую структуру со своими собственными коммутаторами и моделью управления, в то время как Ethernet передает RDMA через протокол RoCE на Ethernet-коммутаторах и завоевывает всё большее распространение в сетях бэк-энда систем искусственного интеллекта.

Для оптоволоконных систем разница между InfiniBand и Ethernet меньше, чем ожидают многие покупатели. В поколении 400G от NVIDIA исходные приемопередатчики поддерживают оба протокола, а разъемы MPO-12/APC, оптоволоконные кабели и патч-панели остаются неизменными. Однако не все артикулы поддерживают оба протокола. Ниже мы сравниваем две сетевые структуры, а затем пошагово, от сетевой карты до патч-панели, показываем, что меняется при переходе на другой протокол, а что остается неизменным.

InfiniBand и Ethernet (RoCE): что представляет собой каждая из этих технологий

InfiniBand — это сетевая архитектура, разработанная для высокопроизводительных вычислений и искусственного интеллекта. Она имеет собственные коммутаторы, адаптеры и кабели, а спецификацию разрабатывает единая отраслевая ассоциация. Ethernet — это сетевая технология общего назначения, используемая практически в каждом центре обработки данных. При обучении ИИ она передаёт тот же трафик RDMA через RoCE (RDMA over Converged Ethernet). Технология RDMA позволяет одному серверу считывать или записывать данные в память другого сервера без участия процессора этого сервера, что ускоряет передачу данных между графическими процессорами.

Их определяют две различные организации. Торговая ассоциация InfiniBand (IBTA) разрабатывает и поддерживает спецификации как InfiniBand, так и RoCE. Физический уровень и управление доступом к среде проводного Ethernet определяются рабочей группой IEEE 802.3, которая разрабатывает стандарты Ethernet. RoCE — это отраслевой транспортный стандарт, позволяющий реализовывать удалённый прямой доступ к памяти (RDMA) в обычных сетях Ethernet уровней 2 и 3; IBTA выпустила первую спецификацию RoCE в 2010 году.

Скорость работы InfiniBand растёт поколение за поколением. Согласно дорожной карте IBTA, продукты InfiniBand стандарта NDR со скоростью 400 Гбит/с уже поставляются, а выпуск продуктов стандарта GDR со скоростью 1,6 Тбит/с запланирован на 2028 год.[1]

Одно уточнение: мы сравниваем горизонтально масштабируемую сеть, соединяющую серверы. NVLink — это вертикально масштабируемая система межпроцессорной связи для взаимодействия между графическими процессорами внутри системы, занимающей целую стойку, поэтому она дополняет InfiniBand или Ethernet, а не заменяет ни одну из них. Наша Руководство по сетевым технологиям на базе графических процессоров объясняет, как взаимосвязаны уровни вертикального и горизонтального масштабирования.

Горизонтальное масштабирование и вертикальное масштабирование сети кластера искусственного интеллекта

Краткое сравнение InfiniBand и Ethernet

InfiniBand Ethernet с RoCE
Определяется следующим образом: IBTA IEEE 802.3 для Ethernet; IBTA для транспорта RoCE
RDMA Родной По показателю RoCE
Потеря пакетов Предназначено для структур ввода-вывода без потерь Обеспечение передачи данных без потерь зависит от настроек управления потоком и управления перегрузками во всей структуре сети
Управление тканями Менеджер подсетей отвечает за маршрутизацию Стандартные средства коммутации и управления в сети Ethernet
Переключатели Коммутаторы NVIDIA Quantum InfiniBand Несколько поставщиков; в 2024 году компании Celestica, NVIDIA и Huawei лидировали в сегменте Ethernet-коммутаторов для бэкэнда систем искусственного интеллекта
Опубликованная шкала Десятки тысяч узлов в одной подсети (IBTA) Проекты кластеров RoCE, рассчитанные на 32 000 графических процессоров (Meta)
Сетевые карты ConnectX-7 поддерживает оба протокола ConnectX-7 поддерживает оба протокола
Оптика и волоконная оптика MPO-12/APC, одномодовый или многомодовый Те же разъёмы и оптоволокно, что и в поколении 400G
Некоторые строки требуют дополнительных пояснений. В документе IBTA описывается, что InfiniBand позволяет создавать полностью избыточные и безошибочные структуры ввода-вывода, а маршрутизацию трафика обеспечивает менеджер подсетей. В сети Ethernet безошибочную сеть необходимо настраивать вручную. Компания Meta, использующая RoCE для производственного обучения ИИ, сообщила, что настройка буферов потребовала более тщательной балансировки, чем в InfiniBand, из-за более грубого управления потоками в RoCE. Цифры, характеризующие масштабируемость, относятся к разным категориям. Данные IBTA описывают возможности архитектуры, тогда как данные Meta взяты из реальной эксплуатации: проекты кластеров RoCE с количеством до 32 000 графических процессоров и крупный вариант модели Llama 3, обученный на 16 000 графических процессорах в кластере RoCE, состоящем из 24 000 графических процессоров.[2] Компания Dell’Oro Group назвала Celestica, NVIDIA и Huawei лидерами сегмента Ethernet на рынке бэкэнд-коммутаторов для систем искусственного интеллекта в 2024 году.

Задержка и производительность: почему цифры расходятся

InfiniBand часто выбирают из-за низкой задержки, но утверждения о том, что одна фабрика имеет меньшую задержку, чем другая, редко основаны на сопоставимых данных. В некоторых случаях речь идет о задержке «от порта к порту» через один коммутатор, в других — о задержке «от конца до конца» между хостами, и лишь в редких случаях указывается, была ли фабрика загружена или перегружена. Ассоциация IBTA указывает на сверхнизкую задержку у InfiniBand, с измеренными значениями задержки 600 нс от конца до конца,[1] однако в нём не указаны условия тестирования, а результаты тестирования Ethernet зависят от коммутатора, сетевой карты, настроек и характера трафика.

Для обучения ИИ одного показателя задержки недостаточно. В ходе обучения задания постоянно синхронизируют работу графических процессоров, поэтому всё задание ожидает завершения самой медленной передачи данных, и даже одно перегруженное соединение может стать «узким местом». Пропускная способность под нагрузкой имеет такое же значение, как и задержка. В сети RoCE компании Meta потоки, сталкивавшиеся после сбоя канала, замедляли всю задачу обучения, и заявленной целью работы по устранению перегрузок была предсказуемая задержка в конце очереди. Справедливым сравнением является время выполнения задачи в вашей собственной топологии с вашей собственной рабочей нагрузкой. Наша Руководство по сетевым технологиям на базе графических процессоров в нем рассматриваются распространенные причины низкой посещаемости учебных курсов.

Ethernet или InfiniBand: что лучше подходит для вашего кластера ИИ?

Обе сети предназначены для одних и тех же задач — масштабного обучения моделей искусственного интеллекта и высокопроизводительных вычислений (HPC), поэтому при выборе между Ethernet и InfiniBand ни одна из них не является универсальным решением для всех случаев. Сама компания NVIDIA публикует эталонные проекты для обеих технологий. В архитектуре DGX SuperPOD H100 в качестве вычислительной фабрики используется InfiniBand, а в качестве сетевой фабрики для хранения данных — также InfiniBand, тогда как в корпоративной эталонной архитектуре для GB300 NVL72 в качестве вычислительной фабрики используется Ethernet Spectrum-X.

Если это соответствует вашему проекту Это указывает на Почему
Вы развертываете типовой проект поставщика в том виде, в котором он был опубликован Что бы ни было указано в этом проекте Коммутаторы, кабели и их длины проверяются в комплексе
Ваша команда уже широко использует сеть Ethernet и закупает оборудование у нескольких поставщиков Ethernet с RoCE Те же инструменты, навыки и цепочка поставок, что и у остальных участников сети
Вам нужна платформа, изначально разработанная для RDMA без потерь данных InfiniBand Меньше настроек управления потоком и параметров управления перегрузками
Кластер будет совместно обрабатывать трафик коммутации, поступающий от клиентских систем или систем хранения данных Ethernet с RoCE Единая технология коммутации для всех сетей
Несколько тысяч графических процессоров и более Либо Оба решения продемонстрировали масштабируемость в опубликованных реализациях или проектах

Рынок движется в сторону Ethernet. В июле 2025 года компания Dell’Oro Group сообщила, что на момент начала своего исследования в конце 2023 года технология InfiniBand занимала более 80 процентов рынка бэкэнд-сетей для искусственного интеллекта, а в настоящее время в этом сегменте лидирует Ethernet.[3] Это рыночный прогноз, а не заключение в отношении какого-либо конкретного кластера. Обе линейки продуктов по-прежнему продаются и поддерживаются.

Блок-схема выбора между InfiniBand и Ethernet

Требует ли замена магистральных сетей прокладки новых оптоволоконных кабелей?

В большинстве случаев — нет, если вы не выходите за пределы одного поколения скоростей и одного оптического интерфейса. Протокол реализован в коммутаторах и, частично, в прошивке приемопередатчиков. Разъёмы, оптоволокно и патч-панели являются пассивными: они обеспечивают передачу данных, не зная, какой протокол они передают. Пропускная способность порта в этом поколении также одинакова с обеих сторон — 400 Гбит/с на порт. Ниже представлена схема послойной структуры поколения 400G (100G-PAM4) от NVIDIA:

СлойИзменения в протоколе?Что говорится в документации поставщика
ПереключателиДаNVIDIA Quantum-2 NDR InfiniBand и Spectrum-4 SN5600 Ethernet — это отдельные линейки коммутаторов, однако в обеих используются двухпортовые модули OSFP, содержащие два порта со скоростью 400 Гбит/с
Сетевые картыОбычно нетConnectX-7 поддерживает оба протокола в одной карте, причем их активация осуществляется коммутатором InfiniBand или Ethernet, к которому она подключена; некоторые адаптеры ConnectX-6 и BlueField-2 поддерживают только один из протоколов
ПриемопередатчикиУточните артикул деталиОригинальные приемопередатчики NDR/400GbE поддерживают оба протокола, а их прошивка обеспечивает работу протокола коммутатора; более новые версии, предназначенные исключительно для Ethernet, имеют окончание “-T”[4]
РазъемыНетMPO-12/APC: используется восемь волокон, четыре позиции пустуют
Оптоволоконные кабелиНетКомпания NVIDIA заявляет, что в её системах NDR и более новых оптических модулях используются одинаковые оптоволоконные кабели
Коммутационные панели и магистральные кабельные каналыНетВ расчетах дальности для данной оптики предполагается наличие двух оптических коммутационных панелей в канале связи
Кабели DAC и AOCУточните артикул деталиУбедитесь, что каждый кабель подходит для используемого коммутатора и требуемой скорости; для некоторых старых адаптеров требуются кабели, предназначенные для конкретных протоколов

Оптический интерфейс определяется приемопередатчиком, а не протоколом. Эти оптические модули NVIDIA поколения 400G демонстрируют следующую схему:

ЧастьФорм-факторРазъемВолокноОхват
MMS4X00-NSOSFP с двумя портами (2 × 400G)2 × MPO-12/APCОдномодовый, 1310 нмДо 100 м
MMS4X00-NMOSFP с двумя портами (2 × 400G)2 × MPOОдномодовый, 1310 нмДо 500 м
MMA4Z00-NSOSFP с двумя портами (2 × 400G)2 × MPO-12/APCМногомодовый, 850 нмДо 50 м
MMA1Z00-NS400QSFP112 (400G)MPO-12/APCМногомодовый, 850 нмДо 50 м

Что сохраняется, а что нет

В пределах одного поколения оборудования и одного оптического интерфейса структурированная оптоволоконная инфраструктура (магистральные кабели MPO-12/APC, патч-панели и патч-корды) может оставаться без изменений. Меняются только коммутаторы. Для приемопередатчиков, кабелей DAC и AOC необходимо проверить артикулы, а длину кабелей следует сверить с новым эталонным проектом. Например, в проекте NVIDIA DGX SuperPOD H100 длина любого кабеля InfiniBand ограничена 50 м.

Что действительно влияет на волокно, так это смена оптического интерфейса. Как одномодовый канал типа DR4, так и многомодовый канал типа SR4 используют разъем MPO-12/APC, однако одномодовое и многомодовое волокна нельзя заменить друг на друга. Наш Руководство по сети 400G содержит перечень волокон, необходимых для каждого оптического модуля 400G, а наш Соединительные кабели MPO/MTP охватывают оба типа волокон.

Какие изменения в кабельной разводке при переходе с InfiniBand на Ethernet

Переход на новую систему или одновременная эксплуатация обеих: контрольный список по прокладке кабельной сети

Используйте этот список при переносе кластера из одной фабрики в другую или в случае, когда в одном центре обработки данных работают обе фабрики:
  1. Проверьте артикулы всех трансиверов. Убедитесь, что устройство поддерживает нужный протокол; существуют версии, поддерживающие только Ethernet.
  2. Сохраните оптический интерфейс. Повторно использовать оптоволокно можно только в том случае, если в новом оптическом устройстве используется тот же разъем и тот же тип оптоволокна (одномодовое или многомодовое).
  3. Следите за APC на протяжении всего процесса. Разъемы типа APC и UPC не следует соединять.
  4. Следуйте принципу единой полярности. Кабели NVIDIA с прямым оптико-оптическим соединением представляют собой прямые кроссоверные кабели типа B MPO-12/APC.
  5. Повторно проверьте те магистральные линии, которые вы сохраняете. Измерьте вносимые потери и сравните их с предельным значением для канала, например 3,0 дБ для стандарта 400GBASE-DR4.[5]
  6. Снова проверьте длины в соответствии с новым эталонным проектом. Ограничения по длине зависят от конкретной конструкции.
  7. Спланируйте следующий этап. Корпуса коммутаторов XDR от NVIDIA также поддерживают кабели и приемопередатчики стандарта NDR в целях обратной совместимости. Для 16-волоконного интерфейса, такого как 800GBASE-DR8, требуется 16 волокон на каждый порт.
Информацию о зонировании, подсчете волокон, маркировке и приемочных испытаниях самой установки см. в нашем руководстве по структурированная кабельная разводка в центре обработки данных для кластеров искусственного интеллекта.

Где находит применение Ultra Ethernet

Консорциум Ultra Ethernet (UEC) — это организация по стандартизации, действующая на основе консенсуса и работающая под эгидой Linux Foundation; 11 июня 2025 года она опубликовала спецификацию Ultra Ethernet версии 1.0.[6] Её цель — сделать сеть Ethernet более подходящей для трафика искусственного интеллекта и высокопроизводительных вычислений. Это новая спецификация в области сетей для искусственного интеллекта, которая пока не является альтернативой InfiniBand или RoCE, поэтому на данный момент инфраструктура искусственного интеллекта по-прежнему строится на основе одной из этих двух технологий. Если вы сегодня планируете развертывание сети, уточните у поставщиков коммутаторов и сетевых карт, какие функции UEC поддерживают их продукты и можно ли использовать имеющиеся оптические модули и кабели.

Оптические каналы MPO для кластеров InfiniBand и Ethernet

Коммутационные кабели MPO/MTP: Магистральные кабели и соединительные шнуры с разъемами MPO/MTP — одномодовые и многомодовые — для каналов связи 400G и 800G. Просмотреть кабели MPO/MTP

Описанные выше пассивные соединения работают одинаково в любой из этих структур, и именно их поставляет компания YingFeng. Наши Соединительные кабели MPO/MTP Выпускаются в одномодовом исполнении OS2 и многомодовом исполнении OM3 или OM4, с торцевыми поверхностями типа APC или UPC, в вариантах на 8, 12, 16 и 24 волокна; доступны варианты с низкими потерями. Сборки MPO/MTP производятся в чистой комнате, образцы предоставляются по запросу. Информацию о других пассивных компонентах см. в нашем волоконная оптика для центров обработки данных. Чтобы получить расценки, расскажите нам номера деталей приемопередатчиков, длину линий связи и метод определения полярности.

Часто задаваемые вопросы

InfiniBand — это медная или оптоволоконная сеть?

И то, и другое. Для коротких соединений внутри серверной стойки часто используются медные кабели прямого подключения, а для более длинных — активные оптические кабели или приемопередатчики с оптоволоконным соединением. В поколении 400G в приемопередатчиках используются разъемы MPO-12/APC с одномодовым или многомодовым оптоволокном.

И то, и другое. Компания NVIDIA продает коммутаторы Quantum InfiniBand и Spectrum Ethernet, публикует типовые проекты для каждого из них, а её сетевые карты ConnectX-7 поддерживают оба протокола.

Да, при условии, что речь идет об одном и том же поколении и одном и том же оптическом интерфейсе. Разъёмы MPO-12/APC и оптоволокно одинаковы; необходимо проверить, поддерживает ли каждый трансивер нужный протокол. См. Требует ли замена магистральных сетей прокладки новых оптоволоконных кабелей? чтобы увидеть полную разбивку.

RoCE (RDMA over Converged Ethernet) — это транспортный протокол, соответствующий отраслевому стандарту, определённый ассоциацией IBTA, который позволяет использовать RDMA в обычных сетях Ethernet уровней 2 и 3. Первая спецификация была опубликована в 2010 году.

Согласно отчету Dell’Oro Group за июль 2025 года, в сетях бэкэнда систем искусственного интеллекта доля Ethernet быстро растет с конца 2023 года. И Ethernet, и InfiniBand по-прежнему продаются и внедряются, и компания NVIDIA публикует эталонные проекты для обеих технологий.

Внешние ссылки

  1. Торговая ассоциация InfiniBand: Об InfiniBand
  2. Гангиди и др., «RDMA через Ethernet для распределенного обучения ИИ в масштабах Meta», ACM SIGCOMM 2024: Цифровая библиотека ACM
  3. Dell’Oro Group: Ethernet выигрывает борьбу с InfiniBand в сетях бэк-энда систем искусственного интеллекта (пресс-релиз, 15 июля 2025 г.)
  4. NVIDIA: Кабели и приемопередатчики LinkX 400 Гбит/с — главная страница (документация по продукту)
  5. Консорциум по оптоволоконным технологиям TIA: Обзор применения 400GBASE-DR4
  6. Консорциум Ultra Ethernet: Спецификация Ultra Ethernet, версия 1.0 (11 июня 2025 г.)