ОГЛАВЛЕНИЕ
Структурированная кабельная разводка в центре обработки данных представляет собой спланированную систему оптоволоконных и медных линий: постоянные магистральные линии проходят между стационарными зонами распределения и патч-панелями, а оборудование подключается к этим панелям с помощью коротких патч-кордов. Альтернативой является кабельная разводка «точка-точка», которую иногда называют неструктурированной, при которой для каждого соединения используется отдельный кабель. В кластере искусственного интеллекта этот выбор имеет большее значение, чем обычно, поскольку один сервер с графическим процессором может иметь восемь или более высокоскоростных сетевых портов, а каждый порт проходит по нескольким волокнам в разъеме MPO.
Ниже мы нанесем стандартные зоны распределения на схему центра обработки данных с использованием графических процессоров (GPU), покажем, как оценить количество волокон на основе вашей собственной топологии, рассчитаем, какую долю от общего бюджета потерь занимает каждая патч-панель, и в заключение приведем список вопросов, которые необходимо решить перед заказом магистральных кабелей.
Что такое структурированная кабельная система центра обработки данных?
Система структурированной кабельной разводки делит помещение на зоны с фиксированными функциями. Магистральная кабельная разводка соединяет распределительные зоны между собой, горизонтальная кабельная разводка проходит от распределительной зоны к стойкам с оборудованием, а патч-панели на каждом конце обеспечивают каждому волокну фиксированное, промаркированное местоположение. При перемещении оборудования или изменении соединения специалисты просто переподключают кабели на панели, а не прокладывают новый кабель по кабельным каналам, что позволяет быстро вносить изменения и сокращает время простоя. Инфраструктура кабельной разводки также остается на месте при смене поколений коммутаторов и оптических модулей, и именно в этом заключается её масштабируемость.
Оборудование подключается к кабельной сети одним из двух способов. Межблочное соединение представляет собой патч-панель, расположенную рядом с активным оборудованием, которая распределяет его порты по остальной части помещения. Кросс-соединение предусматривает установку отдельного набора панелей, дублирующих порты оборудования, благодаря чему любой порт можно соединить с любым другим портом на передней панели.[1]
Приведенные ниже зоны распределения взяты из отраслевых стандартов по прокладке кабельных сетей в центрах обработки данных. Данные в правой колонке представляют собой наши расчетные значения для зала с графическими процессорами (GPU), а не определения из стандарта.
| Площадь | Роль в схеме прокладки кабелей | Типичное содержание курса по кластерам искусственного интеллекта (прикладная литература) |
|---|---|---|
| Основной район распространения (MDA) | Главная кросс-коммутация для помещения | Переключатели Spine и главная оптоволоконная кросс-коммутация |
| Зона промежуточного распределения (IDA) | Дополнительный уровень между MDA и HDA на крупных объектах | Кросс-соединение для одного зала или модуля |
| Зона горизонтального распределения (HDA) | Обслуживает одну зону или ряд стеллажей | Листовые коммутаторы, или панели, обеспечивающие питание одного ряда стоек с графическими процессорами |
| Зона распределения оборудования (EDA) | Стойки и шкафы для оконечного оборудования | Серверы на базе графических процессоров и узлы хранения данных |
В редакции американского стандарта 2024 года было добавлено требование о том, чтобы ширина шкафов в зонах MDA, IDA и HDA составляла не менее 800 мм, а на выходе оборудования по-прежнему предусмотрены только разъемы LC и MPO для оптоволоконных кабелей.[2]
Стандарты прокладки кабельной сети в центрах обработки данных
| Регион | Стандарт | Что входит в программу |
|---|---|---|
| Соединенные Штаты | ANSI/TIA-942-C (май 2024 г.) | Телекоммуникационная инфраструктура для центров обработки данных и компьютерных залов[3] |
| Международный | ISO/IEC 11801-5:2017 | Общие требования к кабельным сетям для центров обработки данных; данный стандарт заменил ISO/IEC 24764:2010[4] |
| Европа | EN 50173-5:2018 | Универсальные кабельные системы для помещений центров обработки данных[5] |
| Компоненты из волокна (США) | ANSI/TIA-568.3-E (сентябрь 2022 г.) | Оптико-волоконные кабельные системы и компоненты[6] |
В ряде руководств по прокладке кабельных сетей стандарт ISO/IEC 24764 по-прежнему указывается в качестве международного стандарта для центров обработки данных. Однако он был отозван и заменен стандартом ISO/IEC 11801-5:2017, поэтому в технических документах, составляемых сегодня, следует указывать новый номер стандарта.[4]
Что меняется, когда в центре обработки данных запускаются задачи искусственного интеллекта
Кластер искусственного интеллекта имеет ту же структуру кабельной разводки, что и любой современный центр обработки данных. Отличается лишь количество каналов связи, количество волокон в каждом канале и их длина. Пропускная способность каждого порта распределяется между несколькими волокнами, работающими параллельно, поэтому для более быстрых портов часто требуется больше волокон.
- Более одной сети. В эталонной архитектуре NVIDIA DGX SuperPOD выделяются вычислительная матрица, матрица хранения данных, внутриполосная сеть управления и внеполосная сеть управления.[7] Каждая из них передаёт различный трафик данных и требует собственной схемы прокладки кабелей, причём вычислительная матрица является, безусловно, самой обширной.
- Большее количество портов на один сервер. Система DGX H100 оснащена четырьмя отсеками OSFP, в которых размещены восемь однопортовых карт ConnectX-7, каждая из которых по умолчанию поддерживает скорость передачи данных по InfiniBand до 400 Гбит/с.[8] В архитектуре SuperPOD серверы объединяются в группы по 32 штуки, и каждый канал GPU находится на расстоянии одного прыжка от аналогичного канала на остальных 31 узле.[7] Наш Руководство по сетевым технологиям на базе графических процессоров объясняет схему железнодорожных путей.
- Параллельная оптика. Канал связи 400GBASE-DR4 проходит по 8 одномодовым волокнам.[9] В стандарте 400GBASE-SR8 используется 16 многомодовых волокон[10] а в стандарте 800GBASE-DR8 используется 16 одномодовых волокон.[11] Все они заканчиваются разъемами MPO, поэтому количество волокон в магистральном кабеле должно соответствовать количеству оптических модулей, а не только количеству портов.
- Небольшие расстояния. В конструкции центра обработки данных NVIDIA DGX SuperPOD H100 общая длина любого кабеля InfiniBand не должна превышать 50 м.[12] Это ограничение относится к одному из типовых проектов, но оно показывает, насколько тщательно планируются стойки для ИИ с учётом длины кабелей.
Структурированная кабельная разводка и соединения «точка-точка» в кластере графических процессоров
Ни один из этих подходов не является обязательным для всего кластера. Один из производителей кабельной продукции отмечает, что как в задней, так и в передней частях сетей искусственного интеллекта могут использоваться архитектуры «точка-точка» или структурированные кабельные системы, в зависимости от проекта и масштаба объекта.[13] Производитель испытательного оборудования придерживается более жесткой позиции: кабельная разводка «точка-точка» обычно используется только внутри одной стойки, например, от коммутатора, установленного в верхней части стойки, к серверам, расположенным ниже, и не рекомендуется для соединения между шкафами или функциональными зонами.[1] Обычно используется следующая схема: прямые соединения внутри стойки и структурированная кабельная разводка между стойками и рядами.
| Ссылка | Общий подход | Почему | Что посмотреть |
|---|---|---|---|
| Сервер, который необходимо подключить к коммутатору в той же стойке | Медные кабели прямого подключения (DAC) или активные оптические кабели (AOC) | Кратчайший путь, панель не требуется | Объем кабельной разводки и воздушный поток в стойке |
| Коммутаторы от стойки с графическими процессорами к «листьям» в одном ряду | Соединительные кабели MPO, проложенные через панель в каждой стойке, или прямые оптические кабели | Это зависит от того, как часто будет производиться замена кабеля в этой линии | Каждая панель оснащена одной парой соединённых разъёмов |
| От листа к корешку, от ряда к ряду, от зала к залу | Трубопроводы между панелями в зонах распределения | Длительные непрерывные циклы работы; изменения вносятся на панели управления | Количество волокон, поляризация, суммарные потери |
| Сети хранения данных и управления | Структурированная кабельная система | Долгосрочные связи, сопровождающиеся регулярными перемещениями и изменениями | Метки и записи |
Коммутационные панели не являются исключением в кабельных соединениях для искусственного интеллекта. Дальность действия одного одномодового приемопередатчика NVIDIA с двумя портами, равная 100 м, предполагает наличие двух оптических коммутационных панелей в кабельном соединении.[14] Задержка также не является поводом для отказа от них: на коротких участках внутри модуля (менее 50 м) задержка распространения света не превышает 250 наносекунд, что пренебрежимо мало по сравнению с задержками при коммутации и обработке сигнала.[15]
Настоящая стоимость кросс-соединения заключается в оптической составляющей. Оно создает в канале больше точек соединения и, следовательно, увеличивает вносимые потери, но в то же время обеспечивает изоляцию активного оборудования и упрощает перемещение, добавление и замену оборудования.[1] В следующих разделах показано, как оценить эти затраты.
Сколько волокон требуется для кластера ИИ?
Не существует какого-либо надежного эмпирического правила, вроде “в десять раз больше, чем в обычном центре обработки данных”. Количество волокон зависит от топологии, поэтому рассчитывайте его исходя из вашего собственного проекта:
Формула расчета количества волокон
Оптические волокна = (количество серверов × количество портов фабрики на каждый сервер × количество волокон на каждый порт) + (количество каналов связи между коммутаторами × количество волокон на каждый канал) + каналы связи для хранения данных, внутриполосного и внеполосного управления + резервная пропускная способность для будущего расширения.
Пример из практики: система DGX H100 имеет восемь вычислительных портов 400G.[8] Если в каждом порте используется оптический модуль типа DR4 с восемью активными волокнами, то для одного сервера потребуется 64 волокна, а для группы из 32 серверов — 2 048 волокон только для подключения к листьевым коммутаторам. Разъем MPO-12 на этих оптических модулях использует четыре волокна для передачи и четыре — для приема, а четыре позиции остаются незаполненными.[16] Для 16-волоконного оптоволоконного кабеля, такого как SR8 или DR8, требуется 16 волокон на каждый порт, поэтому количество волокон в магистральном кабеле и тип разъема следует выбирать одновременно.[10][11]
| графические процессоры | Масштабируемые модули | Кабели «Compute-to-leaf» | Соединительные кабели между выключателями |
|---|---|---|---|
| 144 | 2 | 288 | 288 |
| 288 | 4 | 576 | 576 |
| 576 | 8 | 1,152 | 1,152 |
Каждая коммутационная панель использует часть допустимого уровня потерь
Каждая коммутационная панель в канале добавляет одну пару соединённых разъёмов. Канал с соединительными разъёмами на каждом конце имеет два соединения; добавление кросс-соединения увеличивает их количество до трёх, а наличие соединительных разъёмов на обоих концах плюс кросс-соединение между ними — до четырёх.[1]
Параллельная оптика оставляет для этого мало места. Канал 400GBASE-DR4 допускает вносимые потери на уровне 3,0 дБ, а его максимальная дальность расчёта учитывает 2,75 дБ, выделенных на соединения и сращивания.[9] Канал 400GBASE-SR8, проложенный по многомодовому волокну OM4, допускает общие потери не более 1,9 дБ.[10] Стандарты кабельной разводки TIA-568 устанавливают максимальные потери в размере 0,75 дБ для каждой соединённой пары разъёмов.[20] Вот что произойдет, если каждая пара достигнет этого предельного значения:
| Канал | Пары | Потеря сигнала — 0,75 дБ на пару | По сравнению с DR4 (выделено 2,75 дБ) | По сравнению с SR8 на OM4 (канал 1,9 дБ) |
|---|---|---|---|---|
| Два соединительных кабеля | 2 | 1,5 дБ | Подходит | Остается 0,4 дБ для оптоволокна |
| Межблочное соединение + кросс-соединение | 3 | 2,25 дБ | Подходит | Превышает |
| Два соединительных кабеля + кросс-соединение | 4 | 3,0 дБ | Превышает | Превышает |
Значение 0,75 дБ является предельным, а не типичным. Дело в том, что количество панелей — это проектное решение, которое влечет за собой определенные оптические потери. Подсчитайте каждую соединенную пару, используйте разъемы, номинальные потери которых значительно ниже предельного значения, и измеряйте каждый канал при приемочной проверке. Следите также за единообразием торцевых поверхностей: разъёмы типов APC и UPC не следует соединять. Руководство по сети 400G указывает бюджет на каждый оптический модуль 400G.
Полярность MPO: выберите один из методов перед оформлением заказа
Полярность определяет, достигает ли каждое передающее волокно принимающего волокна на противоположном конце. В методе A используются прямые магистральные линии, в методе B — магистральные линии с обратной полярностью, в которых на обоих концах используется один и тот же тип соединительных кабелей, а в методе C соседние пары переставляются местами, поэтому его не рекомендуется применять в системах с параллельной оптикой.[21] На этапе проектирования выберите один метод для всего канала: готовые MPO-соединения, как правило, изготавливаются на заказ и зачастую не подлежат возврату.[21] Для прямых оптико-оптических соединений компания NVIDIA поставляет прямые кроссоверные кабели типа B MPO-12/APC.[16] Наш Руководство по разъемам MPO содержит объяснение каждого метода с помощью диаграмм, а руководство по Как выбрать соединительные кабели MPO/MTP показывает, как указать полярность в заказе.
Трассы прокладки, плотность и организация кабельной разводки в центрах обработки данных
Управление кабельной разводкой в центре обработки данных для оптоволоконных кабелей сводится к четырём основным аспектам: обеспечение соблюдения радиуса изгиба, поддержание свободных путей прокладки, обеспечение доступа к проложенным оптоволоконным кабелям и их защита от случайных повреждений. Распространённое практическое правило гласит, что радиус изгиба должен составлять не менее 20 диаметров кабеля при натяжении и не менее 10 диаметров после прокладки, когда натяжение отсутствует.[22]
Ряды графических процессоров усложняют каждую из этих задач. Входные отверстия, вертикальные кабельные направляющие и подвесные кабельные лотки часто заполняются раньше, чем сами панели, поэтому размерайте кабельные каналы с учетом окончательного количества волокон, а не только для первой фазы. Несколько модульных магистралей с большим количеством волокон занимают гораздо меньше места, чем сотни отдельных кабелей, и оставляют пространство в передней части стойки для патч-кордов, которые действительно меняются. Заранее спланируйте, где будет храниться запас кабеля, делайте патч-корды короткими и оставляйте место для доступа к задней части каждой панели. Что касается рамок, в которых заканчиваются эти магистрали, см. нашу руководство по оптическим распределительным шкафам.
Маркируйте, проверяйте и документируйте каждую ветку
Кластер с тысячами MPO-соединений можно поддерживать в рабочем состоянии только в том случае, если можно найти каждое соединение и впоследствии сопоставить все результаты измерений. Ведение записей также способствует повышению надежности: техник, который может быстро найти нужный порт, с меньшей вероятностью отсоединит не тот.
Маркировка
Стандарт маркировки кабельной разводки TIA-606-C предусматривает нанесение идентификаторов, в частности, на трассы прокладки, коммутационные панели, стойки и шкафы, порты, кабели, телекоммуникационные помещения, а также на сетку размещения в помещении центра обработки данных.[23] В кластерах AI необходимо промаркировать оба конца каждого магистрального кабеля и соединительного кабеля, указав номер порта, количество волокон и полярность, при этом маркировка должна соответствовать схеме волокон и монтажному чертежу. Руководство по Как выбрать соединительные кабели MPO/MTP включает текст на этикетках и упаковку заказов.
Тестирование и приемка
- Осмотрите каждую торцевую поверхность, при необходимости очистите её и проверьте ещё раз. Визуальный осмотр не заменяет измерения затухания и обратных потерь.[24]
- Проведите испытания уровня 1 с помощью комплекта для проверки оптических потерь: определите вносимые потери, длину и полярность.[25]
- Добавьте тестирование уровня 2 (OTDR) в тех случаях, когда необходимо определить местоположение событий на кабеле. Оно не заменяет измерение вносимых потерь уровня 1.[25]
- Сохраните данные об измеренных потерях по каждому участку в качестве исходных значений для последующего устранения неисправностей.
Перед оформлением заказа: контрольный список для планирования
Прежде чем запрашивать предложения по цене на магистральные кабели, панели и соединительные кабели или обращаться к кому-либо с просьбой об установке сетевой инфраструктуры, необходимо уточнить следующие моменты:
| Принять решение | Почему это важно |
|---|---|
| Карта ссылок: начальная и конечная области каждой ссылки по каждой сети | Определяет маршруты и длину магистральных кабелей |
| Внутризональное соединение или перекрестное соединение в каждой зоне | Устанавливает количество сопряженных пар на канал |
| Количество волокон в магистральном кабеле и тип MPO (8 или 16 волокон на порт) | Должно соответствовать оптической системе, с запасными волокнами на случай расширения |
| Бюджет убытков по каждому каналу | Проверяет, соответствует ли количество панелей оптике |
| Метод определения полярности для всего канала | Детали с готовыми соединениями изготавливаются на заказ |
| Торцевая поверхность (APC или UPC) | APC и UPC несовместимы |
| Схема маркировки | Метки должны соответствовать схеме волокон |
| Уровень испытаний и приемочные значения | Уровень 1 на каждом участке; Уровень 2 там, где это необходимо |
| План развития | Масштабируемость: возможности трассировки и панели для окончательного подсчёта волокон |
Прежде чем подключить кабели, проверьте соответствие требованиям физического уровня, указанным в нашем Руководство по сети 400G.
Оптоволоконные соединения для центров обработки данных искусственного интеллекта от компании YingFeng
Оптоволоконное оборудование для центров обработки данных: магистральные кабели и соединительные шнуры типа MPO/MTP, оптические распределительные шкафы и адаптеры для структурированной кабельной системы. Просмотреть продукты для центров обработки данных
Компания YingFeng осуществляет поставки волоконная оптика для центров обработки данных для пассивной части установки. Наша Соединительные кабели MPO/MTP выпускаются в вариантах на 8, 12, 16 и 24 волокна; доступны модели с низкими потерями, а соединительные узлы MPO/MTP изготавливаются в чистой комнате. Что касается панелей, мы производим модели для монтажа в стойку, настенного монтажа и напольного установки оптические распределительные шкафы с учетом условий эксплуатации и чертежей каждого заказчика, а оптоволоконные адаптеры на панелях и узлы распределения оптоволокна внутри корпуса изготавливаются на собственном производстве. Образцы предоставляются по запросу. Чтобы получить коммерческое предложение, отправьте нам схема подключения, количество волокон в каждом магистральном кабеле, тип MPO, метод определения полярности и вид торцевой поверхности.
Часто задаваемые вопросы
Что такое структурированная кабельная система в центре обработки данных?
Это кабельная разводка внутри центра обработки данных, в которой между стационарными распределительными зонами и патч-панелями проложены постоянные магистральные линии, а подключение оборудования осуществляется с помощью коротких патч-кордов. Изменения вносятся путем переподключения на панели, а не прокладки нового кабеля по схеме «точка-точка».
Какие стандарты применяются к структурированной кабельной системе центров обработки данных?
В США стандарт ANSI/TIA-942-C (2024) регулирует инфраструктуру центров обработки данных, а стандарт ANSI/TIA-568.3-E — оптоволоконные кабельные системы и компоненты. На международном уровне стандарт ISO/IEC 11801-5:2017, устанавливающий общие требования к кабельной разводке в центрах обработки данных, заменил стандарт ISO/IEC 24764; в Европе действует стандарт EN 50173-5:2018. Маркировка осуществляется в соответствии со стандартом TIA-606-C.
В чём заключается разница между межсоединением и кросс-соединением?
Соединительный узел представляет собой патч-панель, расположенную рядом с активным оборудованием. Кросс-соединение добавляет отдельный набор панелей, дублирующих порты оборудования, благодаря чему любой порт можно соединить с любым другим. Кросс-соединение упрощает внесение изменений, но приводит к увеличению количества сопряженных пар разъемов и потерь в каждом канале.
Какой тип кабеля используется в центрах обработки данных искусственного интеллекта?
Внутри стойки обычно используются медные кабели прямого подключения и активные оптические кабели. Между стойками и рядами соединение осуществляется с помощью оптических трансиверов, подключенных через оптоволоконные кабели — одномодовые или многомодовые, — а в системах параллельной оптики, таких как 400G DR4, используются разъемы MPO с 8 или 16 волокнами на порт.
Сколько волокон требуется для сервера на базе графического процессора?
Умножьте количество портов вычислительной матрицы на количество волокон, используемых каждым оптическим модулем. Серверу с восемью портами 400G, оснащённым оптическими модулями типа DR4, требуется 64 волокна только для вычислительной матрицы, не считая каналов связи с системами хранения данных и управления. См. Сколько волокон требуется для кластера ИИ? чтобы увидеть полную формулу.
Внешние ссылки
- Fluke Networks: Кросс-соединения в центре обработки данных (блог «Cabling Chronicles»)
- Консорциум по оптоволоконным технологиям TIA: ANSI/TIA-942-C: Стандарт телекоммуникационной инфраструктуры для центров обработки данных
- ANSI/TIA-942-C (07.05.2024), Стандарт телекоммуникационной инфраструктуры для центров обработки данных: Хранилище стандартов Accuris
- ISO/IEC 11801-5:2017, Информационные технологии. Общие требования к кабельной разводке на объектах заказчика. Часть 5. Центры обработки данных: ISO
- BS EN 50173-5:2018, Информационные технологии. Универсальные кабельные системы — Помещения центров обработки данных (идентично стандарту EN 50173-5:2018): BSI Knowledge
- ANSI/TIA-568.3-E (29.09.2022), Стандарт по оптоволоконным кабельным сетям и компонентам: Хранилище стандартов Accuris
- NVIDIA: Эталонная архитектура DGX SuperPOD с DGX H100 и сетевыми структурами (документация по продукту)
- NVIDIA: Руководство пользователя по DGX H100/H200, Введение (документация по продукту)
- Консорциум по оптоволоконным технологиям TIA: Обзор применения 400GBASE-DR4
- Консорциум по оптоволоконным технологиям TIA: Обзор применения 400GBASE-SR8
- Консорциум по оптоволоконным технологиям TIA: Обзор применения 800GBASE-DR8
- NVIDIA: Проект центра обработки данных DGX SuperPOD для H100, этап планирования (документация по продукту)
- Siemon: Раскрытие потенциала искусственного интеллекта за счет бесперебойной связи в центрах обработки данных (статья из базы знаний)
- NVIDIA: MMS4X00-NS-T — двухпортовый трансивер OSFP 800G — одномодовый трансивер 2x400G (документация по продукту)
- Альянс центров обработки данных: Структурированная кабельная разводка в центрах обработки данных на базе искусственного интеллекта
- NVIDIA: Однопортовый трансивер OSFP MMS4A20 с интерфейсом DR4 и пропускной способностью 800 Гбит/с, обзор (документация по продукту)
- NVIDIA: Эталонная архитектура для предприятий на базе GB300 NVL72, сетевая логическая архитектура (документация по продукту)
- Corning: Следующие шаги в области MTP-соединений (статья из базы знаний)
- Ассоциация волоконной оптики: Справочник FOA по волоконной оптике — Оконцовка
- Ассоциация волоконной оптики: Стандарт EIA/TIA 568 для волоконно-оптических систем
- Fluke Networks: Как правильно выбрать полярность 12- и 8-волоконных разъемов MPO (блог «Cabling Chronicles»)
- Ассоциация волоконной оптики: Справочник FOA по волоконной оптике — Монтаж волоконно-оптических линий
- Брэди: Стандарты маркировки кабелей: ANSI/TIA-606-C — что нового? (статья из базы знаний)
- IEC 61300-3-35:2022, Оптико-волоконные соединительные устройства и пассивные компоненты. Часть 3-35. Визуальный осмотр оптико-волоконных разъемов и приемопередатчиков с волоконными отводами: Интернет-магазин IEC
- Fluke Networks: Советы по тестированию оптоволоконных линий уровня 1 и уровня 2 (блог «Cabling Chronicles»)
