Aynı sarı renkli OS2 MPO ana hat kabloları ve bağlantı kabloları kullanılarak aynı MPO fiber bağlantı paneli sırasına bağlanmış bir InfiniBand anahtarı ve bir Ethernet anahtarını gösteren şema

İÇİNDEKİLER

Hem InfiniBand hem de Ethernet, bir yapay zeka kümesinde GPU sunucularını birbirine bağlayan RDMA trafiğini taşıyabilir ve her ikisi de günümüzde büyük ölçekli yapay zeka iş yüklerini çalıştırmaktadır. InfiniBand, kendine özgü anahtarları ve yönetim modeline sahip özel bir ağ yapısıyken, Ethernet ise Ethernet anahtarları üzerinden RoCE aracılığıyla RDMA trafiğini taşır ve yapay zeka arka uç ağlarında giderek daha fazla yaygınlaşmaktadır.

Fiber tesisleri açısından, InfiniBand ile Ethernet arasındaki fark, birçok alıcının beklediğinden daha azdır. NVIDIA’nın 400G neslinde, orijinal alıcı-vericiler her iki protokolle de çalışır ve MPO-12/APC konektörleri, fiber kablolar ile bağlantı panelleri aynıdır. Ancak her parça numarası çift protokol destekli değildir. Aşağıda iki ağ yapısını karşılaştırıyoruz, ardından ağ kartından patch paneline kadar katman katman inceleyerek, geçiş yaptığınızda nelerin değiştiğini ve nelerin aynı kaldığını gösteriyoruz.

InfiniBand ve Ethernet (RoCE): Her Birinin Nedir?

InfiniBand, yüksek performanslı hesaplama ve yapay zeka için tasarlanmış bir ağ mimarisidir. Kendi anahtarlarına, adaptörlerine ve kablolarına sahiptir ve teknik özellikleri tek bir sektör birliği tarafından belirlenir. Ethernet, neredeyse her veri merkezinde bulunan genel amaçlı bir ağ teknolojisidir. Yapay zeka eğitimi için, RoCE (RDMA over Converged Ethernet) aracılığıyla aynı RDMA trafiğini taşır. RDMA, bir sunucunun başka bir sunucunun belleğini, o sunucunun CPU'sunu devreye sokmadan okumasına veya yazmasına olanak tanır; bu da GPU'lar arasındaki veri aktarımını hızlandırır.

Bunları iki farklı kuruluş tanımlamaktadır. InfiniBand Ticaret Birliği (IBTA), hem InfiniBand hem de RoCE spesifikasyonlarını tanımlar ve günceller. Kablolu Ethernet'in fiziksel katmanı ve ortam erişim kontrolü, Ethernet standartlarını belirleyen IEEE 802.3 çalışma grubu tarafından tanımlanmaktadır. RoCE, Uzak Doğrudan Bellek Erişimi (RDMA) teknolojisinin sıradan Ethernet katman 2 ve 3 ağlarında çalışmasını sağlayan bir endüstri standardı aktarım protokolüdür ve IBTA, ilk spesifikasyonunu 2010 yılında yayınlamıştır.

InfiniBand hızları nesiller halinde gelişmektedir. IBTA yol haritasına göre, NDR 400 Gb/s InfiniBand ürünleri şu anda piyasada bulunurken, GDR 1,6 Tb/s ürünlerinin ise 2028 yılında piyasaya sürülmesi planlanmaktadır.[1]

Kapsamla ilgili bir nokta: Sunucuları birbirine bağlayan ölçeklenebilir (scale-out) ağı karşılaştırıyoruz. NVLink, raf ölçeğindeki bir sistem içinde GPU’lar arası iletişim için kullanılan ölçek yukarı (scale-up) bir bağlantı teknolojisidir; dolayısıyla InfiniBand veya Ethernet’in yerini almak yerine, bu teknolojilerle birlikte kullanılır. Bizim GPU ağ kılavuzu ölçek büyütme ve ölçek genişletme katmanlarının birbiriyle nasıl uyum sağladığını açıklamaktadır.

AI küme ağında yatay ölçeklendirme ve dikey ölçeklendirme

InfiniBand ve Ethernet’e Genel Bir Bakış

InfiniBand RoCE özellikli Ethernet
Şu şekilde tanımlanır: IBTA Ethernet için IEEE 802.3; RoCE aktarımı için IBTA
RDMA Yerli RoCE aracılığıyla
Paket kaybı Kayıpsız I/O yapıları için tasarlanmıştır Kayıpsız çalışma, ağ yapısı genelindeki akış kontrolü ve tıkanıklık ayarlarına bağlıdır
Kumaş yönetimi Bir alt ağ yöneticisi yönlendirme işlemlerini yürütür Standart Ethernet anahtarlama ve işletim araçları
Anahtarlar NVIDIA Quantum InfiniBand anahtarları Birkaç tedarikçi; 2024 yılında Celestica, NVIDIA ve Huawei, yapay zeka arka uç Ethernet anahtarlama alanında öncülük etti
Yayınlanan ölçek Bir alt ağdaki (IBTA) on binlerce düğüm 32.000 adede kadar GPU’yu destekleyen RoCE küme tasarımları (Meta)
Ağ kartları ConnectX-7 her iki protokolü de destekler ConnectX-7 her iki protokolü de destekler
Optik ve fiber MPO-12/APC, tek modlu veya çok modlu 400G neslinde de aynı konektörler ve fiber kullanılıyor
Birkaç satırın bağlamı açıklanmalıdır. IBTA, InfiniBand’ı, trafik yönlendirmesini sağlayan bir alt ağ yöneticisiyle birlikte tamamen yedekli ve kayıpsız I/O yapıları sağlayan bir teknoloji olarak tanımlamaktadır. Ethernet’te ise kayıpsız bir ağın yapılandırılması gerekmektedir. Üretim amaçlı AI eğitimi için RoCE kullanan Meta, RoCE’nin daha kaba taneli akış kontrolü nedeniyle tampon ayarlamasının InfiniBand’a kıyasla daha dikkatli bir dengeleme gerektirdiğini bildirmiştir. Ölçek rakamları farklı türdedir. IBTA’nın rakamı mimarinin neyi destekleyebileceğini gösterirken, Meta’nın rakamları üretim ortamından alınmıştır: 32.000 GPU’ya kadar RoCE kümeleri için tasarımlar ve 24.000 GPU’luk bir RoCE kümesindeki 16.000 GPU üzerinde eğitilmiş büyük bir Llama 3 varyantı.[2] Dell’Oro Group, 2024 yılında yapay zeka arka uç anahtar pazarının Ethernet segmentinde Celestica, NVIDIA ve Huawei’yi liderler olarak belirledi.

Gecikme ve Performans: Rakamlar Neden Birbiriyle Çelişiyor?

InfiniBand genellikle düşük gecikme süresi nedeniyle tercih edilir; ancak bir ağ yapısının diğerinden daha düşük gecikme süresine sahip olduğu iddiaları, nadiren aynı koşullar altında karşılaştırılır. Bazıları tek bir anahtardan geçen bağlantı noktası-bağlantı noktası arası ölçümlerken, bazıları ana bilgisayarlar arasındaki uçtan uca ölçümlerdir ve çok azında ağ yapısının yüklü veya tıkanmış olup olmadığı belirtilir. IBTA, InfiniBand için uçtan uca 600 ns olarak ölçülen gecikme süreleriyle ultra düşük gecikme süresinden bahsetmektedir,[1] ancak test koşulları belirtilmemiştir ve Ethernet sonuçları anahtara, ağ kartına, yapılandırmaya ve trafik modeline bağlıdır.

Yapay zeka eğitimi söz konusu olduğunda, tek bir gecikme değeri pek bir şey ifade etmez. Eğitim işleri, GPU’ları defalarca senkronize eder; bu nedenle tüm iş, en yavaş aktarımın bitmesini bekler ve tıkanmış tek bir bağlantı bile darboğaz haline gelebilir. Yük altındaki verim, gecikme süresi kadar önemlidir. Meta’nın RoCE ağında, bir bağlantı arızasının ardından çarpışan akışlar tüm eğitim işini yavaşlattı ve tıkanıklık çalışmalarının belirtilen hedefi, öngörülebilir kuyruk gecikmesiydi. Adil bir karşılaştırma, kendi topolojinizde ve kendi iş yükünüzle işin tamamlanma süresidir. Bizim GPU ağ kılavuzu antrenman trafiğinin yavaşlamasının yaygın nedenlerini ele almaktadır.

Ethernet ve InfiniBand: AI Kümenize Hangisi Uygun?

Her iki ağ yapısı da aynı kullanım senaryolarına, yani büyük ölçekli yapay zeka eğitimi ve yüksek performanslı hesaplama (HPC) alanlarına hizmet ettiğinden, Ethernet ile InfiniBand arasında yapılan karşılaştırmada hiçbirinin her durumda üstünlüğü söz konusu değildir. NVIDIA, her ikisi için de referans tasarımlar yayınlamaktadır. DGX SuperPOD H100 mimarisi, hesaplama yapısı için InfiniBand ve depolama için de bir InfiniBand ağ yapısı kullanırken, GB300 NVL72 için kurumsal referans mimarisi, hesaplama yapısı için Spectrum-X Ethernet kullanmaktadır.

Eğer bu, projenizi tanımlıyorsa Şuraya işaret ediyor: Neden
Yayınlandığı haliyle bir tedarikçi referans tasarımını devreye alıyorsunuz O tasarımda ne belirtilmişse Anahtarlar, kablolar ve uzunluklar birlikte doğrulanır
Ekibiniz halihazırda geniş ölçekte Ethernet kullanıyor ve çeşitli tedarikçilerden satın alma yapıyor RoCE özellikli Ethernet Ağın geri kalanıyla aynı araçlar, beceriler ve tedarik zinciri
Başından itibaren kayıpsız RDMA için tasarlanmış bir donanım istiyorsunuz InfiniBand Akış kontrolü ve tıkanıklık ayarlarında daha az ince ayar
Küme, ön uç veya depolama trafiğiyle anahtarlama işlevini paylaşacaktır RoCE özellikli Ethernet Ağlar arasında tek bir anahtarlama teknolojisi
Birkaç bin veya daha fazla GPU Ya da Her ikisi de yayınlanmış uygulamalarda veya tasarımlarda ölçeklenebilirlik sergilemiştir

Pazar, Ethernet’e doğru yöneliyor. Dell’Oro Group, Temmuz 2025’te yaptığı açıklamada, 2023’ün sonlarında araştırmaya başladığında InfiniBand’ın yapay zeka arka uç ağlarının yüzde 80’inden fazlasını elinde tuttuğunu, ancak şu anda Ethernet’in bu segmentte üstünlük kazandığını bildirdi.[3] Bu bir pazar tahmini; herhangi bir ürün grubuna ilişkin bir karar değildir. Her iki ürün grubu da hâlâ satılmakta ve desteklenmektedir.

Infiniband ve Ethernet Karar Akış Şeması

Kumaşların değiştirilmesi, yeni fiber kablolama anlamına mı geliyor?

Aynı hız nesli ve optik arayüz kapsamında kaldığınız sürece, genellikle hayır. Protokol, anahtarlarda ve kısmen de alıcı-verici donanım yazılımında yer alır. Konektörler, fiber kablolar ve bağlantı panelleri pasiftir: hangi protokolü taşıdıklarını bilmeden veri aktarımını gerçekleştirirler. Bu nesilde bağlantı noktası bant genişliği de her iki tarafta aynıdır, bağlantı noktası başına 400 Gb/s. İşte NVIDIA’nın 400G (100G-PAM4) neslinin katman katman gösterimi:

KatmanProtokolde herhangi bir değişiklik var mı?Üretici belgelerinde ne yazıyor?
AnahtarlarEvetNVIDIA Quantum-2 NDR InfiniBand ve Spectrum-4 SN5600 Ethernet, birbirinden ayrı anahtar serileridir; ancak her ikisi de iki adet 400 Gb/s bağlantı noktasını barındıran çift bağlantı noktalı OSFP yuvaları kullanır
Ağ kartlarıGenellikle hayırConnectX-7, aynı kartta her iki protokolü de destekler; bu özellik, kartın bağlı olduğu InfiniBand veya Ethernet anahtarı tarafından etkinleştirilir; bazı ConnectX-6 ve BlueField-2 adaptörleri ise belirli bir protokole özeldir
Alıcı-vericilerParça numarasını kontrol edinOrijinal NDR/400GbE alıcı-vericiler her iki protokolü de destekler ve bunların donanım yazılımı, anahtarın protokolünü etkinleştirir; daha yeni, yalnızca Ethernet özellikli sürümlerin adları “-T” ile biter”[4]
KonektörlerHayırMPO-12/APC: sekiz fiber kullanımda, dört yuva boş
Fiber kablolarHayırNVIDIA, NDR ve daha yeni optik bileşenlerinde aynı fiber kabloların kullanıldığını belirtiyor
Bağlantı panelleri ve ana kablolarHayırBu optiklerin erişim mesafesi değerleri, bağlantıda iki adet optik bağlantı paneli bulunduğunu varsaymaktadır
DAC ve AOC kablolarıParça numarasını kontrol edinHer bir kablo parçasının hedef anahtar ve hız için uygun olup olmadığını kontrol edin; bazı eski adaptörler protokolüne özel kablolara ihtiyaç duyar

Optik arayüz, protokol tarafından değil, alıcı-verici tarafından belirlenir. Bu NVIDIA 400G nesil optik bileşenler bu örneği göstermektedir:

BölümForm faktörüKonektörElyafUlaşım
MMS4X00-NSÇift bağlantı noktalı OSFP (2 × 400G)2 × MPO-12/APCTek modlu, 1310 nmEn fazla 100 m
MMS4X00-NMÇift bağlantı noktalı OSFP (2 × 400G)2 × MPOTek modlu, 1310 nmEn fazla 500 m
MMA4Z00-NSÇift bağlantı noktalı OSFP (2 × 400G)2 × MPO-12/APCÇok modlu, 850 nmEn fazla 50 m
MMA1Z00-NS400QSFP112 (400G)MPO-12/APCÇok modlu, 850 nmEn fazla 50 m

Neler aktarılır, neler aktarılmaz?

Bir nesil ve bir optik arayüz kapsamında, yapılandırılmış fiber tesisatı (MPO-12/APC ana hatlar, bağlantı panelleri ve bağlantı kabloları) olduğu gibi kalabilir. Değişen ise anahtarlardır. Alıcı-vericiler, DAC ve AOC kablolarının parça numaraları kontrol edilmeli ve kablo uzunlukları yeni referans tasarıma göre doğrulanmalıdır. Örneğin, NVIDIA’nın DGX SuperPOD H100 tasarımı, tüm InfiniBand kablolarının kablo yolunu 50 m ile sınırlamaktadır.

Fiberi etkileyen şey, optik arayüzün değiştirilmesidir. Tek modlu DR4 tipi bir bağlantı ile çok modlu SR4 tipi bir bağlantı, her ikisi de MPO-12/APC kullanır; ancak tek modlu ve çok modlu fiberler birbiriyle değiştirilemez. Bizim 400G ağ kılavuzu her bir 400G optik cihaz için gerekli olan fiberleri listeler ve bizim MPO/MTP bağlantı kabloları her iki elyaf türünü de kapsamaktadır.

Infiniband’dan Ethernet’e kablolamada neler değişir?

Geçiş Yapmak veya Her İkisini Birlikte Çalıştırmak: Bir Kablolama Kontrol Listesi

Bir kümeyi bir yapıdan diğerine taşırken veya bir veri merkezinde her ikisi de çalıştırıldığında bu listeyi kullanın:
  1. Her bir alıcı-vericinin parça numarasını kontrol edin. Hedef protokolü desteklediğini doğrulayın; yalnızca Ethernet destekleyen sürümler de mevcuttur.
  2. Optik arabirimi koruyun. Fiberi, yalnızca yeni optik cihazın aynı konektörü ve fiber türünü (tek modlu veya çok modlu) kullandığı durumlarda yeniden kullanın.
  3. Baştan sona APC’yi koruyun. APC ve UPC konektörleri birbirine takılmamalıdır.
  4. Tek bir polarite yöntemi kullanın. NVIDIA’nın doğrudan optik-optik kabloları, düz çapraz bağlantılı, B tipi MPO-12/APC kablolardır.
  5. Elinizde tuttuğunuz kütükleri yeniden test edin. Ekleme kaybını ölçün ve bunu kanal sınırıyla karşılaştırın; örneğin, 400GBASE-DR4 için 3,0 dB.[5]
  6. Uzunlukları yeni referans tasarıma göre yeniden kontrol edin. Uzunluk sınırları her bir tasarıma özeldir.
  7. Bir sonraki hıza hazırlanın. NVIDIA’nın XDR anahtar yuvaları, geriye dönük uyumluluk amacıyla NDR kablolarını ve alıcı-vericileri de desteklemektedir. 800GBASE-DR8 gibi 16 fiberli bir arayüz, her bağlantı noktası için 16 fiber gerektirir.
Tesisin bölgelendirilmesi, fiber sayımı, etiketleme ve kabul testleri ile ilgili olarak, şu kılavuzumuza bakınız: Yapay zeka kümeleri için veri merkezi yapılandırılmış kablolama.

Ultra Ethernet’in Kullanım Alanları

Ultra Ethernet Konsorsiyumu (UEC), Linux Vakfı bünyesinde faaliyet gösteren ve konsensüs temelli bir standartlar kuruluşudur; 11 Haziran 2025 tarihinde Ultra Ethernet Spesifikasyonu 1.0’ı yayınlamıştır.[6] Bu, Ethernet’i yapay zeka ve yüksek performanslı hesaplama (HPC) trafiğine daha uygun hale getirmeyi amaçlamaktadır. Bu, yapay zeka ağları alanında yeni bir spesifikasyondur; henüz InfiniBand veya RoCE’ye bir alternatif değildir; dolayısıyla şimdilik yapay zeka altyapısı hâlâ bu ikisinden birine dayalı olarak kurulmaktadır. Bugün bir ağ yapısı planlıyorsanız, anahtar ve ağ kartı (NIC) tedarikçilerinize, ürünlerinin hangi UEC özelliklerini desteklediğini ve mevcut optik bileşenler ile kablolamanın bu yapıya uyumlu olup olmadığını sorun.

InfiniBand ve Ethernet Kümeleri için MPO Fiber Bağlantıları

MPO/MTP Patch Kablolar: 400G ve 800G bağlantıları için tek modlu ve çok modlu MPO/MTP ana hatları ve bağlantı kabloları. MPO/MTP kablolarını görüntüle

Yukarıda açıklanan pasif bağlantılar her iki yapı altında da aynı şekilde çalışır ve bunlar YingFeng’in tedarik ettiği ürünlerdir. Bizim MPO/MTP bağlantı kabloları OS2 tek modlu ve OM3 veya OM4 çok modlu olarak, APC veya UPC uç yüzeyleriyle, 8, 12, 16 ve 24 fiberli versiyonlarda sunulmaktadır; düşük kayıplı versiyonlar da mevcuttur. MPO/MTP montajları temiz odada üretilmektedir ve talep üzerine numune temin edilebilir. Diğer pasif parçalar için lütfen veri merkezi fiber optikleri. Fiyat teklifi almak için, bize anlatın alıcı-verici parça numaraları, bağlantı uzunlukları ve polarite yöntemi.

Sıkça Sorulan Sorular

InfiniBand bakır mı, yoksa fiber mi?

Her ikisi de. Raf içindeki kısa bağlantılarda genellikle bakır doğrudan bağlantı kabloları kullanılırken, daha uzun bağlantılarda aktif optik kablolar veya fiberli alıcı-vericiler kullanılır. 400G neslinde, alıcı-vericiler tek modlu veya çok modlu fiber üzerinden MPO-12/APC konektörleri kullanır.

Her ikisi de. NVIDIA, Quantum InfiniBand anahtarları ve Spectrum Ethernet anahtarları satmakta, her biri için referans tasarımlar yayınlamakta ve ConnectX-7 ağ kartları her iki protokolü de desteklemektedir.

Evet, aynı nesil ve optik arayüz kapsamında. MPO-12/APC konektörleri ve fiber aynıdır; kontrol edilmesi gereken, her bir alıcı-vericinin hedef protokolü destekleyip desteklemediğidir. Bkz. Kumaşların değiştirilmesi, yeni fiber kablolama anlamına mı geliyor? ayrıntılı döküm için.

RoCE (RDMA over Converged Ethernet), IBTA tarafından tanımlanan ve RDMA’nın sıradan Ethernet Katman 2 ve 3 ağlarında çalışmasını sağlayan bir endüstri standardı aktarım protokolüdür. İlk teknik şartname 2010 yılında yayınlanmıştır.

Dell’Oro Group’un Temmuz 2025 tarihli raporuna göre, yapay zeka arka uç ağlarında Ethernet, 2023’ün sonlarından bu yana hızla pazar payını artırmaktadır. Hem Ethernet hem de InfiniBand hâlâ satılmakta ve kullanılmaktadır; NVIDIA ise her ikisi için de referans tasarımlar yayınlamaktadır.

Dış kaynaklar

  1. InfiniBand Ticaret Birliği: InfiniBand Hakkında
  2. Gangidi ve ark., Meta Ölçeğinde Dağıtık Yapay Zeka Eğitimi için Ethernet Üzerinden RDMA, ACM SIGCOMM 2024: ACM Dijital Kütüphanesi
  3. Dell’Oro Group: Ethernet, Yapay Zeka Arka Uç Ağlarında InfiniBand’e Karşı Savaşı Kazanıyor (basın bülteni, 15 Temmuz 2025)
  4. NVIDIA: LinkX 400 Gb/s Kabloları ve Alıcı-Vericiler Ana Sayfa (ürün belgeleri)
  5. TIA Fiber Optik Teknoloji Konsorsiyumu: 400GBASE-DR4 Uygulama Genel Bakışı
  6. Ultra Ethernet Konsorsiyumu: Ultra Ethernet Spesifikasyonu v1.0 (11 Haziran 2025)