ОГЛАВЛЕНИЕ

Сеть 400G — это сеть Ethernet, в которой скорость передачи данных по каналам связи составляет 400 гигабит в секунду. Лежащий в ее основе стандарт IEEE — IEEE Std 802.3bs-2017 — был утвержден 6 декабря 2017 года, а впоследствии в него были внесены поправки, расширившие выбор оптических решений. Сегодня каналы 400G широко используются в магистральных уровнях центров обработки данных, в кластерах графических процессоров для искусственного интеллекта (AI GPU) и в системах межцентрового соединения.
Большинство руководств по 400G ограничиваются коммутаторами и трансиверами. Мы же пойдем на один уровень глубже — прямо к оптоволокну. Если вы уже приняли решение о внедрении 400G и теперь вам нужно выбрать подходящую оптику, кабели с разъемами MPO или LC, а также соединительные разъемы, не превышая допустимый уровень потерь и не затягивая сроки поставки, то эта статья написана именно для вас.
Коммутационная панель Switch MPO/LC, 400 г

Как работает Ethernet 400G

Порт 400G не передает один сигнал со скоростью 400 Гб/с по одной стеклянной нити. Данные разделяются на параллельные каналы, и каждый канал кодируется и защищается с помощью системы коррекции ошибок (FEC).

  • Скорость линии и скорость передачи данных. Скорость MAC составляет 400 Гбит/с. После применения кодирования 256b/257b и добавления FEC Рида-Соломона RS(544,514) сигнал 400GBASE-R передается с номинальной скоростью 425 Гбит/с. Дополнительные 25 Гбит/с представляют собой накладные расходы, а не полезную пропускную способность.
  • Полосы движения. Различные оптические модули 400G используют разные схемы распределения каналов. В одних используется восемь каналов 50G PAM4, в других — четыре канала 100G PAM4. Каналы передаются либо по отдельным волокнам (параллельная оптика), либо на отдельных длинах волн в одной паре волокон (WDM-оптика).
  • PAM4. Используемые сегодня оптические модули 400G с коротким расстоянием передачи работают с модуляцией PAM4, которая передает два бита на символ с помощью четырёх уровней сигнала. Это оставляет меньший запас по ошибкам, чем у более старой схемы передачи NRZ, поэтому коррекция ошибок (FEC) всегда включена. Именно по этой причине загрязнённый разъём или некачественное соединение при скорости 400G дают о себе знать быстрее, чем при 10G.

Корпус модуля выбирается независимо от оптического интерфейса. QSFP-DD и OSFP — это два основных форм-фактора для 400G, а QSFP112 встречается в некоторых более новых сетевых адаптерах. Один и тот же оптический интерфейс, например DR4, может иметь несколько форм-факторов. Поэтому при заказе необходимо согласовать три параметра: коммутатор или отсек для сетевых карт, форм-фактор и оптический интерфейс.

Где сегодня находит применение технология 400G: 100G, 400G и 800G

400G занимает промежуточное положение между каналами 100G, которые по-прежнему соединяют многие серверы, и каналами 800G, которые сейчас начинают появляться в новых кластерах искусственного интеллекта.

  • Ось и агрегация. Распространенный вариант модернизации — использование магистрального коммутатора 400G при сохранении существующих листовых коммутаторов и серверов 100G с применением разветвителя 400G на 4×100G (описано ниже).
  • Кластеры искусственного интеллекта. В системе NVIDIA DGX H100 вычислительная сеть проходит через восемь адаптеров ConnectX-7 со скоростью до 400 Гбит/с каждый, подключенных через четыре порта OSFP. Коммутаторы NVIDIA Quantum-2 InfiniBand и Spectrum-4 SN5600 оснащены двумя портами 400 Гбит/с в каждом двухпортовом OSFP-модуле. В настоящее время уже появились адаптеры со скоростью 800 Гбит/с, такие как ConnectX-8, однако значительная часть установленной базы по-прежнему работает на портах 400G. Подробнее о том, как кластеры на базе графических процессоров используют эти соединения, можно прочитать в нашей Руководство по сетевым технологиям на базе графических процессоров.
  • Межцентровое соединение центров обработки данных. 400ZR — это когерентный интерфейс DWDM, определённый организацией OIF для усиленных линий связи «точка-точка» длиной до 120 км. Эта технология отличается от оптических систем малого радиуса действия, о которых мы здесь говорим, поэтому не включайте её в план прокладки кабельной сети внутри здания.
400 г, порт параллельного интерфейса MPO против WDM LC

Оптические компоненты 400G и оптоволокно, необходимое каждому

Именно от этого решения зависит конфигурация вашей кабельной разводки, поэтому мы сравнили интерфейсы IEEE 400G, с которыми вам, скорее всего, придётся столкнуться в центре обработки данных.

Интерфейс 400GСтандарт IEEEВолоконная сеть и зона покрытияВолокна и разъемМаксимальные вносимые потери в канале
400GBASE-SR8802,3 см (2020)OM3 — 70 м, OM4 — 100 м16 волокон, MPO1,8 дБ (OM3), 1,9 дБ (OM4)
400GBASE-SR4.2802,3 смOM3 — 70 м, OM4 — 100 м, OM5 — 150 м8 волокон, MPO (двунаправленный, 850/910 нм)1,7 дБ (OM3), 1,8 дБ (OM4), 2,0 дБ (OM5)
400GBASE-DR4802.3bs (2017)Одномодовый, 500 м8 волокон, MPO3,0 дБ
400GBASE-FR4802.3cu (2021)Одномодовый, 2 кмДуплексный разъем LC, 4 длины волн CWDM4,0 дБ
400GBASE-LR4-6802,3 куб. футовОдномодовый, 6 кмДуплексный LC6,3 дБ
Источник: Обзоры применений стандарта IEEE 802.3, подготовленные Консорциумом по волоконно-оптическим технологиям TIA.
Сравнение разъемов для оптических волокон 400 г

Из этой таблицы мы выделим три момента:

  1. В параллельной оптике используется MPO; в WDM-оптике — дуплексный разъем LC. SR8, SR4.2 и DR4 передают сигнал по каждой полосе в отдельном волокне, поэтому для них требуются разъемы MPO/MTP. FR4 и LR4-6 объединяют четыре длины волн в одну пару волокон, поэтому для них подходит стандартный дуплексный патч-корд с разъемами LC.
  2. Считайте волокна, а не только разъем. SR8 использует 16 волокон, поэтому для него требуется 16-волоконный разъем MPO (обычно MPO-16). 12-волоконный разъем MPO не подойдет. В стандартах DR4 и SR4.2 используется восемь волокон. В 12-волоконном разъеме MPO активны четыре волокна для передачи и четыре — для приема, а четыре средних позиции остаются пустыми.
  3. Одномодовые MPO-разъемы, как правило, имеют APC-покрытие. В спецификациях модулей 400G DR4 от ведущих производителей указан стандарт MPO-12/APC. Компания Cisco указывает “MPO-12 SMF APC” для своего модуля QSFP-400G-DR4, а в оптических модулях DR4 от NVIDIA используется торцевая поверхность с углом наклона 8 градусов по стандарту APC для отражения обратных отражений. Разъёмы APC и UPC ни в коем случае не должны соединяться; см. нашу Руководство «APC против UPC».

Общие рекомендации по подбору соединительных кабелей к портам приемопередатчиков см. в как выбрать оптоволоконные патч-корды для оптических модулей. Чтобы ознакомиться с основами MPO, прочтите Руководство по разъемам MPO.

Внедрение технологии 400G: что работает, а что нет

Функция «Breakout» позволяет одному порту 400G обслуживать несколько портов с более низкой скоростью. Это одна из самых полезных функций 400G, а также один из наиболее распространенных источников неполадок.

Что работает. Порт DR4 поддерживает четыре независимых канала 100G по четырём парам волокон, поэтому он может разделяться на четыре канала 100G с одной длиной волны. Например, компания Cisco указывает, что ее модуль QSFP-400G-DR4 поддерживает “разветвление на 4 канала 100G-DR1/FR1 и 2 канала 200G-DR2”. Подключайте его с помощью кабеля MPO-12/APC к четырём дуплексным разветвительным кабелям LC или проложите магистральный кабель MPO к патч-панели, которая разветвляется на порты LC.

Что не работает.

  • FR4 и LR4 невозможно разветвить пассивным способом. Их четыре канала используют одну пару волокон на разных длинах волн, поэтому нет необходимости в разветвительном кабеле для их разделения.
  • Каналы DR4 не совместимы с 100G-LR4. Оптический модуль 100G-LR4 также обеспечивает мультиплексирование четырёх длин волн на одной паре. Это не одноволновой интерфейс 100G, который предполагает канал DR4. На дальнем конце следует использовать оптические модули класса DR1/FR1/LR1, поддерживаемые производителем вашего коммутатора.
  • «Breakout» — это и название разъема, и тип кабеля. Порт коммутатора необходимо настроить на режим «breakout». Если из четырёх каналов 100G устанавливается соединение только по двум, сначала проверьте режим порта. Затем поочерёдно проверьте каждую пару волокон на наличие неправильной полярности, загрязнения торца или повреждения волокна.

Держите всё в порядке. Стойка, заполненная отводными кабелями, быстро становится беспорядочной. Выбирайте длину кабелей в соответствии с размерами стойки, а не одну стандартную длину. Если у вас много отводов, рассмотрите возможность прокладки магистральных кабелей MPO до патч-панели и подключения со стороны LC локально. Каждая дополнительная соединённая пара использует часть допустимого уровня потерь, поэтому сначала проработайте схему на бумаге.

Например, мы поставляем Разветвительный кабель MPO-8 к 4×LC, одномодовый, APC к UPC.

400 г: Breakout-DR4 против FR4

Контрольный список по физическому уровню перед запуском сети 400G

По нашему опыту, большинство проблем с каналами связи 400G в новых установках связано с пассивным уровнем. Перед включением оптических модулей проверьте следующие моменты.

  1. Количество волокон и размер MPO. Подберите 8-волоконные интерфейсы (DR4, SR4.2) и 16-волоконные интерфейсы (SR8, а также перечисленные ниже интерфейсы 800G) к соответствующему разъему MPO. Помните, что обозначение “MPO-12” в кабеле DR4 означает наличие восьми активных волокон.
  2. Тип волокна и торцевая поверхность. Для DR4 используйте одномодовый кабель OS2 с разъемами APC, для SR8 и SR4.2 — многомодовые кабели OM3/OM4/OM5, а для FR4/LR4-6 — одномодовый дуплексный кабель с разъемами LC. Не допускайте смешивания разъемов APC и UPC ни в одной части канала.
  3. Закрепленные и незакрепленные. Разъемы MPO соединяются следующим образом: один разъем с контактами (мужской) — с одним разъемом без контактов (женский). Порты приемопередатчиков обычно имеют контакты, поэтому концы соединительных кабелей, вставляемые в них, должны быть безконтактными. Проверьте это для каждого магистрального кабеля, адаптера и соединительного кабеля.
  4. Метод полярности. Стандарт TIA определяет три метода определения полярности: A, B и C. Они несовместимы друг с другом. Выберите один метод для всего канала и убедитесь, что магистральные линии, адаптеры и соединительные кабели соответствуют именно ему.
  5. Бюджет убытков. Пределы, установленные IEEE, весьма жесткие. Для канала DR4 допускается общее значение потерь 3,0 дБ, из которых 2,75 дБ приходится на соединения и сращивания. Для канала SR8 в кабеле OM4 допускается значение потерь всего 1,9 дБ для всего канала. Каждая патч-панель увеличивает количество соединённых пар, поэтому в структурированной кабельной системе 400G важно использовать кабели MPO/MTP с низкими потерями. Перед заказом подсчитайте количество планируемых соединений и сравните его с пределом канала.
  6. Проверить и очистить. Стандарт IEC 61300-3-35 определяет порядок проверки торцевых поверхностей на наличие загрязнений и дефектов. Проведите осмотр, при необходимости очистите, а затем повторите осмотр. В стандарте также отмечается, что визуальный осмотр не заменяет измерения вносимых и обратных потерь, поэтому необходимо также провести испытание линии связи.
  7. Все промаркируйте. Обозначьте на обоих концах каждого магистрального кабеля и отводящего кабеля номер порта, количество волокон и полярность. Тот, кому придётся устранять неисправность в линии в 2 часа ночи, будет вам благодарен.

Пошаговое руководство по оформлению заказа см. Как выбрать соединительные кабели MPO/MTP.

Планирование кабельной разводки 400G с расчетом на 800G

Редкая команда устанавливает оборудование 400G, не поинтересовавшись у нас о 800G. Ответ зависит от того, по какому маршруту проходит оптика 800G.

  • MPO-12/APC может переноситься. Двухпортовый OSFP-трансивер NVIDIA 800G для коммутаторов представляет собой, по сути, два модуля 400G DR4 в одном корпусе с двумя разъемами MPO-12/APC. В его оптических модулях ConnectX-8 800G DR4 также используется разъем MPO-12/APC с четырьмя каналами 200G. Таким образом, для работы этих компонентов подойдет хорошо сконфигурированная одномодовая система на базе разъемов MPO-12/APC. Сначала проверьте характеристики модуля по дальности и потерям, поскольку более высокие скорости каналов могут иметь другие ограничения.
  • Для 16-волоконных интерфейсов требуется 16 волокон. Стандарт IEEE 802.3df (2024) определяет стандарт 800GBASE-DR8 как 16 одномодовых волокон длиной до 500 м (канал 3,0 дБ), а 800GBASE-SR8 — как 16 многомодовых волокон длиной до 100 м по стандарту OM4 (канал 1,8 дБ). Если ваши магистральные линии поддерживают только восемь рабочих волокон на каждое соединение, для этих интерфейсов потребуется новая кабельная разводка.
  • Что делать дальше?. Выбирайте количество волокон в магистральном кабеле с запасом на будущее, используйте одномодовое оптоволокно OS2 для соединений, выходящих за пределы одного ряда, стандартизируйте метод определения полярности и ведите учет измеренных потерь в линии связи. Эти данные позволят определить, можно ли при модернизации до 800G использовать существующую инфраструктуру или потребуются новые кабели.

Поставка пассивных соединительных устройств 400G от компании YingFeng

Компания YingFeng обладает более чем 25-летним опытом производства оптоволоконной продукции, история которой началась в 1982 году, и располагает двумя производственными площадками в Нинбо и Дунгуане. Для проектов со скоростью 400G и 800G мы поставляем:

Мы предлагаем услуги OEM/ODM, а образцы предоставляются по запросу. Пришлите нам модели ваших приемопередатчиков и количество портов, и мы подберем подходящие соединительные кабели и перечень разветвителей.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Что такое Ethernet со скоростью 400 Гбит/с?

Ethernet 400 Гбит/с (400GbE) — это скорость передачи данных по стандарту IEEE Ethernet, равная 400 гигабитам в секунду, впервые стандартизированная в стандарте IEEE 802.3bs-2017. Передача данных осуществляется по 4 или 8 линиям PAM4 по многомодовому или одномодовому оптоволокну в зависимости от типа оптического модуля.

И то, и другое. Стандарты SR8 и SR4.2 поддерживают передачу данных по многомодовому волокну OM3/OM4/OM5 на расстоянии до 70–150 м. Стандарты DR4, FR4 и LR4-6 поддерживают передачу данных по одномодовому волокну на расстоянии 500 м, 2 км и 6 км соответственно.

В DR4 используется разъем MPO с восемью активными одномодовыми волокнами, как правило, типа MPO-12/APC.

Да, если это порт DR4 и коммутатор поддерживает режим разветвления. Каждый канал подключается к одноволновому оптическому модулю 100G, например DR1 или FR1. Оптические модули FR4 и LR4 не могут разветвляться с помощью пассивных кабелей.

Технология 800G начинает внедряться в новых кластерах искусственного интеллекта, однако порты 400G по-прежнему широко используются. Большая часть оборудования 800G по-прежнему разделяется на 2×400G. Кабельная разводка на основе одномодовых кабелей MPO-12/APC зачастую может использоваться и в дальнейшем, в то время как 16-волоконные интерфейсы, такие как 800GBASE-DR8, требуют 16-волоконных линий связи.

Внешние ссылки