ОГЛАВЛЕНИЕ
Как InfiniBand, так и Ethernet могут передавать трафик RDMA, связывающий серверы с графическими процессорами в кластере искусственного интеллекта, и на сегодняшний день обе технологии используются для обработки крупных рабочих нагрузок в области искусственного интеллекта. InfiniBand представляет собой специализированную сетевую структуру со своими собственными коммутаторами и моделью управления, в то время как Ethernet передает RDMA через протокол RoCE на Ethernet-коммутаторах и завоевывает всё большее распространение в сетях бэк-энда систем искусственного интеллекта.
Для оптоволоконных систем разница между InfiniBand и Ethernet меньше, чем ожидают многие покупатели. В поколении 400G от NVIDIA исходные приемопередатчики поддерживают оба протокола, а разъемы MPO-12/APC, оптоволоконные кабели и патч-панели остаются неизменными. Однако не все артикулы поддерживают оба протокола. Ниже мы сравниваем две сетевые структуры, а затем пошагово, от сетевой карты до патч-панели, показываем, что меняется при переходе на другой протокол, а что остается неизменным.
InfiniBand и Ethernet (RoCE): что представляет собой каждая из этих технологий
InfiniBand — это сетевая архитектура, разработанная для высокопроизводительных вычислений и искусственного интеллекта. Она имеет собственные коммутаторы, адаптеры и кабели, а спецификацию разрабатывает единая отраслевая ассоциация. Ethernet — это сетевая технология общего назначения, используемая практически в каждом центре обработки данных. При обучении ИИ она передаёт тот же трафик RDMA через RoCE (RDMA over Converged Ethernet). Технология RDMA позволяет одному серверу считывать или записывать данные в память другого сервера без участия процессора этого сервера, что ускоряет передачу данных между графическими процессорами.
Их определяют две различные организации. Торговая ассоциация InfiniBand (IBTA) разрабатывает и поддерживает спецификации как InfiniBand, так и RoCE. Физический уровень и управление доступом к среде проводного Ethernet определяются рабочей группой IEEE 802.3, которая разрабатывает стандарты Ethernet. RoCE — это отраслевой транспортный стандарт, позволяющий реализовывать удалённый прямой доступ к памяти (RDMA) в обычных сетях Ethernet уровней 2 и 3; IBTA выпустила первую спецификацию RoCE в 2010 году.
Скорость работы InfiniBand растёт поколение за поколением. Согласно дорожной карте IBTA, продукты InfiniBand стандарта NDR со скоростью 400 Гбит/с уже поставляются, а выпуск продуктов стандарта GDR со скоростью 1,6 Тбит/с запланирован на 2028 год.[1]
Одно уточнение: мы сравниваем горизонтально масштабируемую сеть, соединяющую серверы. NVLink — это вертикально масштабируемая система межпроцессорной связи для взаимодействия между графическими процессорами внутри системы, занимающей целую стойку, поэтому она дополняет InfiniBand или Ethernet, а не заменяет ни одну из них. Наша Руководство по сетевым технологиям на базе графических процессоров объясняет, как взаимосвязаны уровни вертикального и горизонтального масштабирования.
Краткое сравнение InfiniBand и Ethernet
| InfiniBand | Ethernet с RoCE | |
|---|---|---|
| Определяется следующим образом: | IBTA | IEEE 802.3 для Ethernet; IBTA для транспорта RoCE |
| RDMA | Родной | По показателю RoCE |
| Потеря пакетов | Предназначено для структур ввода-вывода без потерь | Обеспечение передачи данных без потерь зависит от настроек управления потоком и управления перегрузками во всей структуре сети |
| Управление тканями | Менеджер подсетей отвечает за маршрутизацию | Стандартные средства коммутации и управления в сети Ethernet |
| Переключатели | Коммутаторы NVIDIA Quantum InfiniBand | Несколько поставщиков; в 2024 году компании Celestica, NVIDIA и Huawei лидировали в сегменте Ethernet-коммутаторов для бэкэнда систем искусственного интеллекта |
| Опубликованная шкала | Десятки тысяч узлов в одной подсети (IBTA) | Проекты кластеров RoCE, рассчитанные на 32 000 графических процессоров (Meta) |
| Сетевые карты | ConnectX-7 поддерживает оба протокола | ConnectX-7 поддерживает оба протокола |
| Оптика и волоконная оптика | MPO-12/APC, одномодовый или многомодовый | Те же разъёмы и оптоволокно, что и в поколении 400G |
Задержка и производительность: почему цифры расходятся
InfiniBand часто выбирают из-за низкой задержки, но утверждения о том, что одна фабрика имеет меньшую задержку, чем другая, редко основаны на сопоставимых данных. В некоторых случаях речь идет о задержке «от порта к порту» через один коммутатор, в других — о задержке «от конца до конца» между хостами, и лишь в редких случаях указывается, была ли фабрика загружена или перегружена. Ассоциация IBTA указывает на сверхнизкую задержку у InfiniBand, с измеренными значениями задержки 600 нс от конца до конца,[1] однако в нём не указаны условия тестирования, а результаты тестирования Ethernet зависят от коммутатора, сетевой карты, настроек и характера трафика.
Для обучения ИИ одного показателя задержки недостаточно. В ходе обучения задания постоянно синхронизируют работу графических процессоров, поэтому всё задание ожидает завершения самой медленной передачи данных, и даже одно перегруженное соединение может стать «узким местом». Пропускная способность под нагрузкой имеет такое же значение, как и задержка. В сети RoCE компании Meta потоки, сталкивавшиеся после сбоя канала, замедляли всю задачу обучения, и заявленной целью работы по устранению перегрузок была предсказуемая задержка в конце очереди. Справедливым сравнением является время выполнения задачи в вашей собственной топологии с вашей собственной рабочей нагрузкой. Наша Руководство по сетевым технологиям на базе графических процессоров в нем рассматриваются распространенные причины низкой посещаемости учебных курсов.
Ethernet или InfiniBand: что лучше подходит для вашего кластера ИИ?
Обе сети предназначены для одних и тех же задач — масштабного обучения моделей искусственного интеллекта и высокопроизводительных вычислений (HPC), поэтому при выборе между Ethernet и InfiniBand ни одна из них не является универсальным решением для всех случаев. Сама компания NVIDIA публикует эталонные проекты для обеих технологий. В архитектуре DGX SuperPOD H100 в качестве вычислительной фабрики используется InfiniBand, а в качестве сетевой фабрики для хранения данных — также InfiniBand, тогда как в корпоративной эталонной архитектуре для GB300 NVL72 в качестве вычислительной фабрики используется Ethernet Spectrum-X.
| Если это соответствует вашему проекту | Это указывает на | Почему |
|---|---|---|
| Вы развертываете типовой проект поставщика в том виде, в котором он был опубликован | Что бы ни было указано в этом проекте | Коммутаторы, кабели и их длины проверяются в комплексе |
| Ваша команда уже широко использует сеть Ethernet и закупает оборудование у нескольких поставщиков | Ethernet с RoCE | Те же инструменты, навыки и цепочка поставок, что и у остальных участников сети |
| Вам нужна платформа, изначально разработанная для RDMA без потерь данных | InfiniBand | Меньше настроек управления потоком и параметров управления перегрузками |
| Кластер будет совместно обрабатывать трафик коммутации, поступающий от клиентских систем или систем хранения данных | Ethernet с RoCE | Единая технология коммутации для всех сетей |
| Несколько тысяч графических процессоров и более | Либо | Оба решения продемонстрировали масштабируемость в опубликованных реализациях или проектах |
Рынок движется в сторону Ethernet. В июле 2025 года компания Dell’Oro Group сообщила, что на момент начала своего исследования в конце 2023 года технология InfiniBand занимала более 80 процентов рынка бэкэнд-сетей для искусственного интеллекта, а в настоящее время в этом сегменте лидирует Ethernet.[3] Это рыночный прогноз, а не заключение в отношении какого-либо конкретного кластера. Обе линейки продуктов по-прежнему продаются и поддерживаются.
Требует ли замена магистральных сетей прокладки новых оптоволоконных кабелей?
В большинстве случаев — нет, если вы не выходите за пределы одного поколения скоростей и одного оптического интерфейса. Протокол реализован в коммутаторах и, частично, в прошивке приемопередатчиков. Разъёмы, оптоволокно и патч-панели являются пассивными: они обеспечивают передачу данных, не зная, какой протокол они передают. Пропускная способность порта в этом поколении также одинакова с обеих сторон — 400 Гбит/с на порт. Ниже представлена схема послойной структуры поколения 400G (100G-PAM4) от NVIDIA:
| Слой | Изменения в протоколе? | Что говорится в документации поставщика |
|---|---|---|
| Переключатели | Да | NVIDIA Quantum-2 NDR InfiniBand и Spectrum-4 SN5600 Ethernet — это отдельные линейки коммутаторов, однако в обеих используются двухпортовые модули OSFP, содержащие два порта со скоростью 400 Гбит/с |
| Сетевые карты | Обычно нет | ConnectX-7 поддерживает оба протокола в одной карте, причем их активация осуществляется коммутатором InfiniBand или Ethernet, к которому она подключена; некоторые адаптеры ConnectX-6 и BlueField-2 поддерживают только один из протоколов |
| Приемопередатчики | Уточните артикул детали | Оригинальные приемопередатчики NDR/400GbE поддерживают оба протокола, а их прошивка обеспечивает работу протокола коммутатора; более новые версии, предназначенные исключительно для Ethernet, имеют окончание “-T”[4] |
| Разъемы | Нет | MPO-12/APC: используется восемь волокон, четыре позиции пустуют |
| Оптоволоконные кабели | Нет | Компания NVIDIA заявляет, что в её системах NDR и более новых оптических модулях используются одинаковые оптоволоконные кабели |
| Коммутационные панели и магистральные кабельные каналы | Нет | В расчетах дальности для данной оптики предполагается наличие двух оптических коммутационных панелей в канале связи |
| Кабели DAC и AOC | Уточните артикул детали | Убедитесь, что каждый кабель подходит для используемого коммутатора и требуемой скорости; для некоторых старых адаптеров требуются кабели, предназначенные для конкретных протоколов |
Оптический интерфейс определяется приемопередатчиком, а не протоколом. Эти оптические модули NVIDIA поколения 400G демонстрируют следующую схему:
| Часть | Форм-фактор | Разъем | Волокно | Охват |
|---|---|---|---|---|
| MMS4X00-NS | OSFP с двумя портами (2 × 400G) | 2 × MPO-12/APC | Одномодовый, 1310 нм | До 100 м |
| MMS4X00-NM | OSFP с двумя портами (2 × 400G) | 2 × MPO | Одномодовый, 1310 нм | До 500 м |
| MMA4Z00-NS | OSFP с двумя портами (2 × 400G) | 2 × MPO-12/APC | Многомодовый, 850 нм | До 50 м |
| MMA1Z00-NS400 | QSFP112 (400G) | MPO-12/APC | Многомодовый, 850 нм | До 50 м |
Что сохраняется, а что нет
В пределах одного поколения оборудования и одного оптического интерфейса структурированная оптоволоконная инфраструктура (магистральные кабели MPO-12/APC, патч-панели и патч-корды) может оставаться без изменений. Меняются только коммутаторы. Для приемопередатчиков, кабелей DAC и AOC необходимо проверить артикулы, а длину кабелей следует сверить с новым эталонным проектом. Например, в проекте NVIDIA DGX SuperPOD H100 длина любого кабеля InfiniBand ограничена 50 м.
Что действительно влияет на волокно, так это смена оптического интерфейса. Как одномодовый канал типа DR4, так и многомодовый канал типа SR4 используют разъем MPO-12/APC, однако одномодовое и многомодовое волокна нельзя заменить друг на друга. Наш Руководство по сети 400G содержит перечень волокон, необходимых для каждого оптического модуля 400G, а наш Соединительные кабели MPO/MTP охватывают оба типа волокон.
Переход на новую систему или одновременная эксплуатация обеих: контрольный список по прокладке кабельной сети
- Проверьте артикулы всех трансиверов. Убедитесь, что устройство поддерживает нужный протокол; существуют версии, поддерживающие только Ethernet.
- Сохраните оптический интерфейс. Повторно использовать оптоволокно можно только в том случае, если в новом оптическом устройстве используется тот же разъем и тот же тип оптоволокна (одномодовое или многомодовое).
- Следите за APC на протяжении всего процесса. Разъемы типа APC и UPC не следует соединять.
- Следуйте принципу единой полярности. Кабели NVIDIA с прямым оптико-оптическим соединением представляют собой прямые кроссоверные кабели типа B MPO-12/APC.
- Повторно проверьте те магистральные линии, которые вы сохраняете. Измерьте вносимые потери и сравните их с предельным значением для канала, например 3,0 дБ для стандарта 400GBASE-DR4.[5]
- Снова проверьте длины в соответствии с новым эталонным проектом. Ограничения по длине зависят от конкретной конструкции.
- Спланируйте следующий этап. Корпуса коммутаторов XDR от NVIDIA также поддерживают кабели и приемопередатчики стандарта NDR в целях обратной совместимости. Для 16-волоконного интерфейса, такого как 800GBASE-DR8, требуется 16 волокон на каждый порт.
Где находит применение Ultra Ethernet
Консорциум Ultra Ethernet (UEC) — это организация по стандартизации, действующая на основе консенсуса и работающая под эгидой Linux Foundation; 11 июня 2025 года она опубликовала спецификацию Ultra Ethernet версии 1.0.[6] Её цель — сделать сеть Ethernet более подходящей для трафика искусственного интеллекта и высокопроизводительных вычислений. Это новая спецификация в области сетей для искусственного интеллекта, которая пока не является альтернативой InfiniBand или RoCE, поэтому на данный момент инфраструктура искусственного интеллекта по-прежнему строится на основе одной из этих двух технологий. Если вы сегодня планируете развертывание сети, уточните у поставщиков коммутаторов и сетевых карт, какие функции UEC поддерживают их продукты и можно ли использовать имеющиеся оптические модули и кабели.
Оптические каналы MPO для кластеров InfiniBand и Ethernet
Коммутационные кабели MPO/MTP: Магистральные кабели и соединительные шнуры с разъемами MPO/MTP — одномодовые и многомодовые — для каналов связи 400G и 800G. Просмотреть кабели MPO/MTP
Описанные выше пассивные соединения работают одинаково в любой из этих структур, и именно их поставляет компания YingFeng. Наши Соединительные кабели MPO/MTP Выпускаются в одномодовом исполнении OS2 и многомодовом исполнении OM3 или OM4, с торцевыми поверхностями типа APC или UPC, в вариантах на 8, 12, 16 и 24 волокна; доступны варианты с низкими потерями. Сборки MPO/MTP производятся в чистой комнате, образцы предоставляются по запросу. Информацию о других пассивных компонентах см. в нашем волоконная оптика для центров обработки данных. Чтобы получить расценки, расскажите нам номера деталей приемопередатчиков, длину линий связи и метод определения полярности.
Часто задаваемые вопросы
InfiniBand — это медная или оптоволоконная сеть?
И то, и другое. Для коротких соединений внутри серверной стойки часто используются медные кабели прямого подключения, а для более длинных — активные оптические кабели или приемопередатчики с оптоволоконным соединением. В поколении 400G в приемопередатчиках используются разъемы MPO-12/APC с одномодовым или многомодовым оптоволокном.
Использует ли NVIDIA InfiniBand или Ethernet?
И то, и другое. Компания NVIDIA продает коммутаторы Quantum InfiniBand и Spectrum Ethernet, публикует типовые проекты для каждого из них, а её сетевые карты ConnectX-7 поддерживают оба протокола.
Можно ли использовать одни и те же оптоволоконные кабели для сетей InfiniBand и Ethernet?
Да, при условии, что речь идет об одном и том же поколении и одном и том же оптическом интерфейсе. Разъёмы MPO-12/APC и оптоволокно одинаковы; необходимо проверить, поддерживает ли каждый трансивер нужный протокол. См. Требует ли замена магистральных сетей прокладки новых оптоволоконных кабелей? чтобы увидеть полную разбивку.
Что такое RoCE?
RoCE (RDMA over Converged Ethernet) — это транспортный протокол, соответствующий отраслевому стандарту, определённый ассоциацией IBTA, который позволяет использовать RDMA в обычных сетях Ethernet уровней 2 и 3. Первая спецификация была опубликована в 2010 году.
Заменяет ли Ethernet InfiniBand?
Согласно отчету Dell’Oro Group за июль 2025 года, в сетях бэкэнда систем искусственного интеллекта доля Ethernet быстро растет с конца 2023 года. И Ethernet, и InfiniBand по-прежнему продаются и внедряются, и компания NVIDIA публикует эталонные проекты для обеих технологий.
Внешние ссылки
- Торговая ассоциация InfiniBand: Об InfiniBand
- Гангиди и др., «RDMA через Ethernet для распределенного обучения ИИ в масштабах Meta», ACM SIGCOMM 2024: Цифровая библиотека ACM
- Dell’Oro Group: Ethernet выигрывает борьбу с InfiniBand в сетях бэк-энда систем искусственного интеллекта (пресс-релиз, 15 июля 2025 г.)
- NVIDIA: Кабели и приемопередатчики LinkX 400 Гбит/с — главная страница (документация по продукту)
- Консорциум по оптоволоконным технологиям TIA: Обзор применения 400GBASE-DR4
- Консорциум Ultra Ethernet: Спецификация Ultra Ethernet, версия 1.0 (11 июня 2025 г.)