ÍNDICE DE CONTEÚDO
O cabeamento estruturado de data centers consiste em uma infraestrutura planejada de fibra óptica e cobre: troncos permanentes ligam áreas de distribuição fixas a painéis de conexão, e os equipamentos se conectam a esses painéis por meio de cabos de conexão curtos. A alternativa é o cabeamento ponto a ponto, às vezes chamado de cabeamento não estruturado, com um cabo separado para cada link. Em um cluster de IA, essa escolha é ainda mais importante do que o habitual, pois um único servidor com GPU pode ter oito ou mais portas de rede de alta velocidade, e cada porta utiliza várias fibras em um conector MPO.
A seguir, mapeamos as áreas de distribuição padrão em um centro de dados com GPUs, mostramos como estimar o número de fibras a partir da sua própria topologia, calculamos qual a parcela do orçamento de perda que cada painel de conexão utiliza e concluímos com uma lista do que deve ser decidido antes de encomendar os troncos.
O que é o cabeamento estruturado de data center?
Um sistema de cabeamento estruturado divide a sala em áreas com funções definidas. O cabeamento de espinha dorsal conecta as áreas de distribuição entre si; o cabeamento horizontal vai de uma área de distribuição até os racks de equipamentos; e os painéis de conexão em cada extremidade atribuem a cada fibra uma posição fixa e identificada. Quando um equipamento é movido ou uma conexão é alterada, os técnicos refazem as conexões no painel, em vez de passar um novo cabo pelas canaletas, o que agiliza as alterações e reduz o tempo de inatividade. A infraestrutura de cabeamento também permanece no lugar enquanto os switches e os componentes ópticos passam de uma geração para a outra, e é daí que vem sua escalabilidade.
O equipamento se conecta ao sistema de cabeamento de duas maneiras diferentes. Uma interconexão consiste em um painel de conexão localizado próximo ao equipamento ativo, que distribui suas portas para o restante da sala. Uma conexão cruzada adiciona um conjunto separado de painéis que espelham as portas do equipamento, de modo que qualquer porta possa ser conectada a qualquer outra porta na parte frontal dos painéis.[1]
As áreas de distribuição abaixo são baseadas nas normas do setor para cabeamento de data centers. A coluna da direita representa nossa interpretação para um data center de GPUs, e não uma definição da norma.
| Área | Função no projeto de cabeamento | Conteúdos típicos de um cluster de IA (leitura aplicada) |
|---|---|---|
| Área principal de distribuição (MDA) | Conexão cruzada principal da sala | Switches de backbone e a conexão cruzada principal de fibras |
| Área de distribuição intermediária (ADI) | Nível opcional entre o MDA e os HDAs em instalações de maior porte | Uma conexão cruzada para um salão ou módulo |
| Área de distribuição horizontal (HDA) | Atende a uma zona ou fileira de racks | Comutadores de folha, ou os painéis que alimentam uma fileira de racks de GPUs |
| Área de distribuição de equipamentos (EDA) | Racks e gabinetes para equipamentos finais | Servidores com GPU e nós de armazenamento |
A revisão de 2024 da norma norte-americana acrescentou uma exigência de que os gabinetes tenham pelo menos 800 mm de largura nas categorias MDA, IDA e HDA; e, na saída do equipamento, continua especificando apenas conectores LC e MPO para fibra óptica.[2]
Normas de cabeamento para centros de dados
| Região | Padrão | O que está coberto |
|---|---|---|
| Estados Unidos | ANSI/TIA-942-C (maio de 2024) | Infraestrutura de telecomunicações para centros de dados e salas de servidores[3] |
| Internacional | ISO/IEC 11801-5:2017 | Cabeamento genérico para centros de dados; substituiu a norma ISO/IEC 24764:2010[4] |
| Europa | EN 50173-5:2018 | Sistemas genéricos de cabeamento para espaços de data center[5] |
| Componentes de fibra (EUA) | ANSI/TIA-568.3-E (setembro de 2022) | Cabo de fibra óptica e componentes[6] |
Vários guias de cabeamento ainda citam a norma ISO/IEC 24764 como a norma internacional para data centers. Ela foi revogada e substituída pela ISO/IEC 11801-5:2017; portanto, as especificações elaboradas atualmente devem citar o número mais recente.[4]
O que muda quando o data center executa cargas de trabalho de IA
Um cluster de IA segue a mesma estrutura de cabeamento de qualquer data center moderno. O que muda é o número de links, a quantidade de fibras por link e o comprimento dos links. A largura de banda de cada porta é dividida entre várias fibras que funcionam em paralelo; portanto, portas mais rápidas geralmente precisam de mais fibras.
- Mais de uma rede. A arquitetura de referência DGX SuperPOD da NVIDIA separa uma malha de computação, uma malha de armazenamento, uma rede de gerenciamento in-band e uma rede de gerenciamento out-of-band.[7] Cada uma delas transporta um tráfego de dados diferente e requer seu próprio plano de cabeamento, sendo que a malha de computação é, de longe, a maior.
- Mais portas por servidor. Um DGX H100 possui quatro compartimentos OSFP que acomodam oito placas ConnectX-7 de porta única, cada uma operando em InfiniBand a até 400 Gb/s por padrão.[8] No projeto do SuperPOD, os servidores são agrupados em conjuntos de 32, e cada rail de GPU fica a um salto do mesmo rail nos outros 31 nós.[7] Nosso Guia de redes com GPU explica o traçado da ferrovia.
- Óptica paralela. Um link 400GBASE-DR4 é transmitido por meio de 8 fibras monomodo.[9] O 400GBASE-SR8 utiliza 16 fibras multimodo[10] e o 800GBASE-DR8 utiliza 16 fibras monomodo.[11] Todas elas terminam em conectores MPO; portanto, o número de fibras do tronco precisa corresponder ao do cabo óptico, e não apenas ao número de portas.
- Distâncias curtas. No projeto do data center DGX SuperPOD H100 da NVIDIA, o comprimento total de qualquer cabo InfiniBand não deve exceder 50 m.[12] Esse limite se refere a um projeto de referência, mas mostra como os racks de IA são planejados com rigor em relação ao comprimento dos cabos.
Cabo estruturado x conexões ponto a ponto em um cluster de GPUs
Nenhuma das duas abordagens é obrigatória para todo o cluster. Um fabricante de cabeamento observa que tanto as redes de IA de back-end quanto as de front-end podem utilizar arquiteturas de cabeamento ponto a ponto ou estruturadas, dependendo do projeto e da escala da instalação.[13] Um fabricante de equipamentos de teste adota uma postura mais firme: o cabeamento ponto a ponto é normalmente utilizado apenas dentro de um único rack — por exemplo, de um switch top-of-rack até os servidores abaixo — e não é recomendado entre gabinetes ou espaços funcionais.[1] Um padrão comum utiliza ambos: conexões diretas dentro do rack e cabeamento estruturado entre racks e fileiras.
| Link | Abordagem comum | Por que | O que assistir |
|---|---|---|---|
| Servidor a ser transferido para o mesmo rack | Cabos de cobre de conexão direta (DAC) ou cabos ópticos ativos (AOC) | Caminho mais curto, sem necessidade de painel | Volume dos cabos e fluxo de ar no rack |
| Switches de rack para leaf da GPU na mesma fileira | Cabos de conexão MPO que passam por um painel em cada rack, ou cabos ópticos diretos | Depende da frequência com que a fileira será recabeada | Cada painel adiciona um par de conectores acoplados |
| Folha a folha, fileira a fileira, corredor a corredor | Cabos entre painéis nas áreas de distribuição | Trajetos longos e permanentes; as alterações são feitas no painel | Número de fibras, polaridade, orçamento de perda |
| Redes de armazenamento e gerenciamento | Cabeamento estruturado | Vínculos duradouros com mudanças e transformações constantes | Etiquetas e registros |
Os painéis de conexão não são uma exceção nos links de IA. O alcance de 100 m de um transceptor monomodo de duas portas da NVIDIA pressupõe a presença de dois painéis de conexão ópticos no link.[14] A latência também não é motivo para evitá-los: em percursos curtos dentro de um pod (menos de 50 m), o atraso na propagação da luz permanece abaixo de 250 nanossegundos, o que é insignificante em comparação com o atraso na comutação e no processamento do sinal.[15]
O custo real de uma conexão cruzada é óptico. Ela introduz mais pontos de conexão — e, portanto, mais perda de inserção — no canal, em troca de isolar os equipamentos ativos e facilitar as operações de realocação, adição e modificação.[1] As próximas seções mostram como calcular esse custo.
Quantas fibras um cluster de IA precisa?
Não existe uma regra prática confiável do tipo “dez vezes o tamanho de um data center normal”. O número de fibras depende da topologia; portanto, calcule-o com base no seu próprio projeto:
Fórmula para o cálculo do teor de fibras
Fibras = (servidores × portas de malha por servidor × fibras por porta) + (ligações entre switches × fibras por ligação) + ligações de armazenamento e de gerenciamento na banda e fora da banda + capacidade sobressalente para crescimento.
Um exemplo prático: um DGX H100 possui oito portas de computação de 400G.[8] Se cada porta utilizar um módulo óptico do tipo DR4 com oito fibras ativas, um servidor precisará de 64 fibras, e um grupo de 32 servidores precisará de 2.048 fibras apenas para se conectar aos switches leaf. O conector MPO-12 desses módulos ópticos utiliza quatro fibras de transmissão e quatro de recepção, deixando quatro posições em branco.[16] Um cabo de fibra óptica de 16 fibras, como o SR8 ou o DR8, requer 16 fibras por porta; portanto, defina o número de fibras do tronco e o tipo de conector em conjunto.[10][11]
| GPUs | Unidades escaláveis | Cabos de conexão do servidor ao terminal | Cabos de switch a switch |
|---|---|---|---|
| 144 | 2 | 288 | 288 |
| 288 | 4 | 576 | 576 |
| 576 | 8 | 1,152 | 1,152 |
Cada painel de conexão utiliza parte do orçamento de perda
Cada painel de conexão em um canal adiciona um par de conectores acoplados. Um canal com uma interconexão em cada extremidade possui duas conexões; ao adicionar uma conexão cruzada, o total passa para três; e, com interconexões em ambas as extremidades mais uma conexão cruzada no meio, o total chega a quatro.[1]
A óptica paralela deixa pouco espaço para isso. Um canal 400GBASE-DR4 permite uma perda de inserção de 3,0 dB, e seu alcance máximo é calculado considerando 2,75 dB alocados para conexões e emendas.[9] Um canal 400GBASE-SR8 em fibra multimodo OM4 permite apenas 1,9 dB no total.[10] As normas de cabeamento TIA-568 estabelecem 0,75 dB como a perda máxima para cada par de conectores acoplados.[20] Eis o que acontece se todos os pares estiverem nesse limite máximo:
| Canal | Casais | Perda de conexão de 0,75 dB por par | Em relação ao DR4 (2,75 dB alocados) | Em comparação com o SR8 no OM4 (canal de 1,9 dB) |
|---|---|---|---|---|
| Duas interconexões | 2 | 1,5 dB | Compatível com | Deixa 0,4 dB para a fibra |
| Interconexão + conexão cruzada | 3 | 2,25 dB | Compatível com | Excede |
| Duas interconexões + conexão cruzada | 4 | 3,0 dB | Excede | Excede |
O valor de 0,75 dB é um limite máximo, não um valor típico. A questão é que o número de painéis é uma decisão de projeto que acarreta um custo óptico. Conte cada par acoplado, utilize conectores cuja perda especificada esteja bem abaixo do limite máximo e meça cada link na aceitação. Mantenha a face terminal consistente também: conectores APC e UPC não devem ser acoplados. O Guia da rede 400G apresenta o orçamento para cada componente óptico de 400G.
Polaridade do MPO: escolha um método antes de fazer o pedido
A polaridade determina se cada fibra de transmissão chega a uma fibra de recepção na extremidade oposta. O Método A utiliza troncos diretos; o Método B, troncos invertidos com o mesmo tipo de cabo de conexão em ambas as extremidades; e o Método C inverte os pares adjacentes, razão pela qual não é recomendado para sistemas ópticos paralelos.[21] Escolha um método para todo o canal durante o projeto: os conjuntos MPO pré-terminados geralmente são fabricados sob encomenda e, muitas vezes, não podem ser devolvidos.[21] Para conexões diretas de fibra óptica a fibra óptica, a NVIDIA fornece cabos MPO-12/APC do tipo B, com terminação cruzada direta.[16] Nosso Guia de conectores MPO explica cada método com diagramas, e o guia sobre Como especificar cabos de conexão MPO/MTP mostra como indicar a polaridade em um pedido.
Trajetórias, densidade e gerenciamento de cabos em data centers
O gerenciamento de cabos de fibra óptica em data centers resume-se a quatro aspectos: proteger o raio de curvatura, manter trajetórias de roteamento desobstruídas, garantir o acesso às fibras instaladas e protegê-las contra danos acidentais. Uma regra prática comum é um raio de curvatura de, no mínimo, 20 vezes o diâmetro do cabo sob tensão e 10 vezes após a instalação, quando não há tensão.[22]
As fileiras de GPUs tornam cada uma dessas tarefas mais difícil. Os orifícios de entrada, os organizadores verticais de cabos e as bandejas aéreas de cabos costumam ficar lotados antes mesmo dos painéis; portanto, dimensione os caminhos de acordo com a contagem final de fibras, e não com a da primeira fase. Algumas linhas modulares de alta capacidade ocupam muito menos espaço do que centenas de cabos individuais e deixam a parte frontal do rack livre para os cabos de conexão que realmente são trocados. Planeje onde a folga dos cabos será armazenada, mantenha os cabos de conexão curtos e deixe espaço para acessar a parte traseira de cada painel. Para as estruturas que terminam essas linhas, consulte nosso guia sobre quadros de distribuição óptica.
Identifique, teste e documente cada link
Um cluster com milhares de conexões MPO só é viável se for possível localizar cada conexão e comparar todas as medições posteriormente. Os registros também garantem a confiabilidade: um técnico que consegue localizar rapidamente a porta correta tem menos chances de desconectar a porta errada.
Rotulagem
A norma de identificação de cabeamento, TIA-606-C, exige a identificação de trajetórias, painéis de conexão, racks e gabinetes, portas, cabos, espaços de telecomunicações e a malha da sala do data center, entre outros itens.[23] Para clusters de IA, identifique ambas as extremidades de cada cabo tronco e cabo de conexão com a porta, o número de fibras e a polaridade, e mantenha as identificações consistentes com o mapa de fibras e o desenho de instalação. O guia sobre Como especificar cabos de conexão MPO/MTP abrange o texto das etiquetas e as embalagens dos pedidos.
Testes e Aceitação
- Inspecione cada face terminal, limpe-a se necessário e inspecione-a novamente. A inspeção visual não substitui a medição da atenuação e da perda de retorno.[24]
- Execute os testes de Nível 1 com um conjunto de testes de perda óptica: perda de inserção, comprimento e polaridade.[25]
- Adicione o teste de Nível 2 (OTDR) nos casos em que for necessário localizar eventos ao longo do cabo. Esse teste não substitui a medição de perda de inserção do Nível 1.[25]
- Salve a perda medida de cada elo como referência para resolução de problemas posteriormente.
Antes de fazer o pedido: uma lista de verificação para o planejamento
Esclareça esses pontos antes de solicitar cotações para troncos, painéis e cabos de conexão, ou antes de pedir a alguém para instalar a infraestrutura de rede:
| Decida | Por que isso é importante |
|---|---|
| Mapa de ligações: áreas de início e fim de cada ligação, por rede | Define os trajetos e comprimentos dos cabos principais |
| Interconexão ou conexão cruzada em cada área | Define o número de pares emparelhados por canal |
| Número de fibras no tronco e tipo de MPO (8 ou 16 fibras por porta) | Deve ser compatível com o sistema óptico, com fibras sobressalentes para expansão |
| Orçamento para perdas por canal | Verifica se o número de painéis corresponde ao do sistema óptico |
| Método de polaridade para todo o canal | As peças pré-montadas são fabricadas sob encomenda |
| Faca (APC ou UPC) | APC e UPC não são compatíveis |
| Esquema de rotulagem | As etiquetas devem corresponder ao mapa de fibras |
| Nível de teste e valores de aceitação | Nível 1 em todos os elos; Nível 2 quando necessário |
| Plano de crescimento | Escalabilidade: capacidade de vias e painéis para a contagem final de fibras |
Antes que as conexões entrem em operação, verifique a lista de verificação da camada física disponível em nosso Guia da rede 400G.
Conectividade por fibra óptica para centros de dados de IA da YingFeng
Fibra óptica para data centers: cabos de ligação e cabos de conexão MPO/MTP, painéis de distribuição óptica e adaptadores para cabeamento estruturado. Ver produtos para data centers
A YingFeng fornece fibra óptica para data center para a parte passiva da usina. Nossa Cabos de conexão MPO/MTP estão disponíveis nas versões de 8, 12, 16 e 24 fibras; há versões de baixa perda disponíveis, e os conjuntos MPO/MTP são produzidos em sala limpa. Quanto aos painéis, fabricamos modelos para montagem em rack, na parede e no chão quadros de distribuição óptica de acordo com o ambiente de aplicação e os desenhos de cada cliente, e os adaptadores de fibra óptica nos painéis, bem como as peças de distribuição de fibra dentro do chassi, são fabricados internamente. Amostras estão disponíveis mediante solicitação. Para obter um orçamento, envie-nos seu mapa de conexões, número de fibras por tronco, tipo de MPO, método de polaridade e face terminal.
Perguntas frequentes
O que é o cabeamento estruturado em um data center?
Trata-se de uma instalação de cabeamento dentro de um data center, com troncos permanentes entre áreas de distribuição fixas e painéis de conexão, onde os equipamentos se conectam por meio de cabos de conexão curtos. As alterações são feitas por meio de reconfiguração no painel, em vez de instalar um novo cabo ponto a ponto.
Quais normas se aplicam ao cabeamento estruturado de data centers?
Nos EUA, a norma ANSI/TIA-942-C (2024) abrange a infraestrutura de data centers, e a ANSI/TIA-568.3-E abrange o cabeamento de fibra óptica e seus componentes. Internacionalmente, a norma ISO/IEC 11801-5:2017, que trata do cabeamento genérico em centros de dados, substituiu a ISO/IEC 24764; na Europa, a norma é a EN 50173-5:2018. A rotulagem segue a norma TIA-606-C.
Qual é a diferença entre uma interconexão e uma conexão cruzada?
Uma interconexão é um painel de conexão localizado próximo ao equipamento ativo. Uma conexão cruzada acrescenta um conjunto separado de painéis que espelham as portas do equipamento, de modo que qualquer porta possa ser conectada a qualquer outra. Uma conexão cruzada facilita as alterações, mas aumenta o número de pares de conectores acoplados e a perda em cada canal.
Que tipo de cabo é utilizado nos data centers de IA?
Dentro de um rack, é comum o uso de cabos de cobre de conexão direta e cabos ópticos ativos. Entre racks e fileiras, os transceptores ópticos se conectam por meio de cabos de fibra óptica, monomodo ou multimodo, e sistemas ópticos paralelos, como o 400G DR4, utilizam conectores MPO com 8 ou 16 fibras por porta.
Quantas fibras um servidor com GPU precisa?
Multiplique o número de portas da malha pela quantidade de fibras que cada módulo óptico utiliza. Um servidor com oito portas de 400G em módulos ópticos do tipo DR4 precisa de 64 fibras apenas para a malha de computação, sem contar os links de armazenamento e gerenciamento. Veja Quantas fibras um cluster de IA precisa? para ver a fórmula completa.
Referências externas
- Fluke Networks: Conexões cruzadas no data center (blog “Cabling Chronicles”)
- Consórcio de Tecnologia de Fibra Óptica TIA: ANSI/TIA-942-C: Norma de infraestrutura de telecomunicações para centros de dados
- ANSI/TIA-942-C (07/05/2024), Norma de infraestrutura de telecomunicações para centros de dados: Loja de padrões da Accuris
- ISO/IEC 11801-5:2017, Tecnologia da informação – Cabeamento genérico para instalações do cliente – Parte 5: Centros de dados: ISO
- BS EN 50173-5:2018, Tecnologia da informação. Sistemas genéricos de cabeamento – Espaços de centros de dados (idêntica à EN 50173-5:2018): Conhecimento da BSI
- ANSI/TIA-568.3-E (29/09/2022), Norma para cabeamento e componentes de fibra óptica: Loja de padrões da Accuris
- NVIDIA: Arquitetura de referência DGX SuperPOD com DGX H100 e estruturas de rede (documentação do produto)
- NVIDIA: Guia do Usuário do DGX H100/H200, Introdução (documentação do produto)
- Consórcio de Tecnologia de Fibra Óptica TIA: Visão geral da aplicação 400GBASE-DR4
- Consórcio de Tecnologia de Fibra Óptica TIA: Visão geral da aplicação do 400GBASE-SR8
- Consórcio de Tecnologia de Fibra Óptica TIA: Visão geral da aplicação 800GBASE-DR8
- NVIDIA: Projeto do data center DGX SuperPOD para H100, Planejamento (documentação do produto)
- Siemon: Aproveitando o potencial da IA por meio de uma conectividade integrada no data center (artigo informativo)
- NVIDIA: MMS4X00-NS-T Transceptor de 800G com duas portas OSFP para 2x400G monomodo (documentação do produto)
- Aliança de Centros de Dados: Cabo estruturado em centros de dados impulsionados por IA
- NVIDIA: Transceptor OSFP de porta única MMS4A20 DR4 de 800 Gbps, Visão geral (documentação do produto)
- NVIDIA: Arquitetura de Referência Corporativa para GB300 NVL72, Arquitetura Lógica de Rede (documentação do produto)
- Corning: Os próximos passos na conectividade MTP (artigo informativo)
- A Associação de Fibra Óptica: Referência da FOA para Fibra Óptica – Terminação
- A Associação de Fibra Óptica: EIA/TIA 568 para fibra óptica
- Fluke Networks: Como definir corretamente a polaridade dos conectores MPO de 12 e 8 fibras (blog Cabling Chronicles)
- A Associação de Fibra Óptica: Referência da FOA sobre Fibra Óptica – Instalação de Fibra Óptica
- Brady: Normas de identificação de cabos: ANSI/TIA-606-C – Quais são as novidades? (artigo informativo)
- IEC 61300-3-35:2022, Dispositivos de interconexão e componentes passivos de fibra óptica – Parte 3-35: Inspeção visual de conectores de fibra óptica e transceptores com ramificação de fibra: Loja virtual da IEC
- Fluke Networks: Dicas para testes de fibra de Nível 1 e Nível 2 (blog Cabling Chronicles)
