Nvidia, mühendislik harikası Vera CPU'sunu ve şirketin yeni nesil yapay zeka platformunun kalbindeki Vera Rubin NVL72 sunucu rafı tasarımını tanıtmak üzere teknoloji dünyasının önde gelen gazetecilerini merkezine davet etti. Bu özel buluşmada, Vera Rubin'in gerçek veri merkezinde, canlı iş yükleri üzerinde çalışma anına tanıklık etme fırsatı bulduk. Nvidia'nın Mühendislik Süper Laboratuvarı'nda gerçekleşen bu gösterim, merak uyandıran birçok detayı gözler önüne serdi.
Burada yer alan veri merkezi, standart bir tesisten biraz farklı bir yapıya sahip. Nvidia'nın belirttiğine göre, Mühendislik Süper Laboratuvarı, mühendislerin donanımları hızla kurup test edebilmeleri için özel olarak tasarlanmış. Mühendislerin yoğun bir donanım ortamında çalışırken sergilediği kendine has düzen anlayışı, burayı geleneksel veri merkezlerinden farklı kılıyor. Dört farklı lokasyonda bulunan bu gizli tesisler, son iki yılda Nvidia'nın yeni donanımlarını devreye alması için önemli bir alan sağlıyor.
Gösterilen ana donanım Vera Rubin NVL72 sunucu rafı olsa da, çeşitli ek demolar da yapıldı. Bunlardan en dikkat çekici olanı, NVL72 rafına 800VDC güç sağlayan bir yan ünite (sidecar) idi. Ayrıca, bir Vera Rubin tepsisinin birkaç dakika içinde raylarla birbirine kenetlendiği montaj süreci de gözler önüne serildi.
Bu yazı, turumuzun perde arkasını, Mühendislik Süper Laboratuvarı'nın kurulumunu ve veri merkezlerine dair ilgi çekici görselleri sunmayı amaçlıyor. Platformun teknik detayları ve Nvidia'nın yapay zeka altyapısındaki rolü hakkında daha derinlemesine bilgi için daha önce yayımlanan Vera CPU incelememize başvurabilirsiniz. Burada ise daha çok sahne arkasına bir bakış sunuyoruz.
Nvidia Vera Rubin NVL72 Canlı Performansıyla
Vera Rubin üretimde olsa da, bu, bir veri merkezinde gerçek bir iş yükü üzerinde çalışan bir rafın ilk canlı gösterimi oldu. Nvidia, buradaki rafların OpenAI için iş yükleri çalıştırdığını belirtti. Ekran görüntülerinde görülebileceği gibi, bazı tepsilerde OpenAI'nin GPT‑Rosalind modelinin çalıştığı anlaşılıyor.
Her tepsinin ön yüzünde, çift ConnectX-9 NIC (ağ arayüz kartı) bağlantı noktaları ve ortada yer alan Bluefield-4 DPU (veri işleme birimi) görülüyor. Rafın arka kısmında ise, tepsileri birbirine bağlayan, adeta ortaçağdan kalma bir yapıya sahip olan Nvidia'nın NVLink omurgası bulunuyor. Bu omurga, altı jenerasyon NVLink teknolojisiyle, her bir GPU'ya saniyede 3.6 TB'a kadar ve raf başına 260 TB/s ölçeklendirme bant genişliği sağlayan, iki milden uzun 5.000 bakır kablo barındırıyor.
Her Vera Rubin NVL72 rafı, 18 adet hesaplama tepsisi ve 9 adet NVLink anahtar tepsisi barındırıyor. Bu anahtar tepsileri, çeşitli tepsiler arasındaki iletişimi yöneterek tek, büyük ve birleşik bir sistem oluşturuyor. Nvidia, 72 Rubin GPU ve 36 Vera CPU içeren tek bir referans rafı olan MGX NVL tasarımını sergiledi. Nvidia'nın MGX ETL tasarımı ise NVLink omurgasını, 256 adede kadar GPU içeren ölçeklendirme sistemleri için bir Spectrum-X Ethernet omurgası veya doğrudan yongadan yongaya bağlantı ile değiştiriyor.
Rafların işlevsel kısmı arka tarafında yer alıyor. NVLink omurgası sayesinde kablolama düzenli olsa da, güç ve soğutma hatları önemli bir yer tutuyor. Altta yer alan görsellerde görülen boru ve kablo düzenlemesi, tek bir rafı çalıştırmanın bile ne kadar karmaşık bir süreç olduğunu gösteriyor; hele ki bu sayı onlarca veya yüzlerce rafa çıktığında.
Nvidia'nın önceki nesil GB200 ve GB300 NVL72 rafları hibrit soğutma kullanırken, Vera Rubin tepsileri tamamen sıvı ile soğutuluyor. Bu yeni nesilde fan bulunmuyor, bu da Nvidia'ya göre gelecekte çok daha sessiz veri merkezlerinin kapısını aralayabilir. Ancak laboratuvardaki ortam tam olarak sessiz değildi; göz ve kulak koruması gerektirecek kadar gürültülüydü. Desibel ölçer olmasa da, ortamın yaklaşık 80 ila 90 desibel arasında olduğunu tahmin ediyorum; bu, bir klima ünitesinden daha yüksek, ancak bir motosikletten daha sessiz bir seviye, yani veri merkezleri için oldukça tipik bir gürültü seviyesi.
Her neyse, Vera Rubin tepsileri tamamen sıvı soğutma ile çalışıyor ve bu işleme “kuru soğutma” adı veriliyor. Nvidia'ya göre, soğutma sıvısının giriş sıcaklığı 45 derece Celsius veya daha düşük olduğunda, tüm sistemi bir ısı eşanjörü ile soğutmak mümkün. Bu iddia doğruysa, maliyetli (enerji, alan, gürültü, su tüketimi ve para açısından) soğutma ünitelerine olan ihtiyacı ortadan kaldırabilir.
Devasa borular üst kısımdan soğutma sıvısını (genellikle antifriz veya deiyonize su) getiriyor ve rafın alt kısımlarındaki çıkışlardan ısınan sıvıyı dışarı atıyor. Bu hat üzerinde, tepsilerin soğutma sistemine otomatik olarak bağlanmasını sağlayan bir dizi giriş bağlantısı bulunuyor. Nvidia, Open Compute Project (OCP) ile her şeyi standartlaştırmış durumda; hatta sevkiyat spesifikasyonları bile buna dahil. Şirkete göre, bir rafın sevkiyat kamyonunun gelmesinden çalıştırılmasına kadar geçen süre sadece 47 dakika.
Gelecek Nesil Yapay Zeka Altyapısı İçin 800VDC Güç
Nvidia ayrıca 800VDC “yan ünite” (sidecar) gösterimini de gerçekleştirdi. Eğer bu konuya yabancıysanız, Nvidia ve diğer yapay zeka altyapısı şirketleri, AC/DC dönüşüm verimliliğini artırmak ve binlerce amperlik akım aralıklarına çıkmadan raflara gerekli wattajı sağlamak amacıyla modern veri merkezleri için yeni bir 800VDC güç dağıtım sistemini destekliyor.
Tek bir Vera Rubin NVL72 rafı, geleneksel veri merkezi güç altyapısı için bir zorluk teşkil eden 200 kW'ın üzerinde güç tüketebiliyor. Mevcut Grace Blackwell raflarında, güç üniteleri tesise giren AC gücü (415V veya 480V) 48V/54V Doğru Akım'a dönüştürerek raf içinde dağıtıyor. Buradaki sorun oldukça net: Gerilim sabit kalırsa ve wattaj artarsa, akım da artmak zorunda. Daha fazla akım ise daha kalın veri yollarını, daha fazla dönüşüm verimsizliğini ve güç dağıtımı için daha fazla raf alanı anlamına geliyor.
800VDC'nin sunduğu çözüm ise oldukça basit: Wattaj artar ve akım sabit kalırsa, gerilim de artmak zorunda. Buradaki fikir, şebekeden gelen AC gücü bir kez DC gücüne dönüştürmek ve ardından raf içindeki DC-DC dönüştürücüleri kullanarak daha yoğun hesaplama ve daha iyi güç verimliliği sağlamak.
Bu kolay bir sorun değil, çünkü veri merkezlerinin sadece gücün nasıl dönüştürüldüğünü, düşürüldüğünü ve dağıtıldığını değil, aynı zamanda tesise nasıl getirildiğini de değiştirmesi gerekiyor. Burada Nvidia, yalnızca güç ekipmanlarıyla dolu bir raf olan bir yan üniteyi (sidecar) sergiledi. Analiz şirketi SemiAnalysis tarafından bir “yenileme” olarak adlandırılan bu ünite, 800VDC'ye geçişin ilk aşamalarından birini temsil ediyor. Tesis genelinde hala 415V/480VAC dağıtılıyor, ancak bu güç raf içindeki güç kaynaklarına değil, bu yan üniteye akıyor. Yan ünite, 415V/480VAC'yi 800VDC'ye dönüştürüyor ve bitişikteki rafları besliyor.
Tüm bunlar, bu laboratuvarda kullanılan oldukça ilginç güç altyapısını göstermek için yapılmış bir açıklama. Nvidia 800VDC altyapısına doğru ilerleyen ilk veya tek şirket değil. Google, Meta ve Microsoft gibi şirketler de Mt. Diablo spesifikasyonu gibi açık yan ünite tasarımlarına katkıda bulundular. Yine de bu yan ünitelerden birini canlı olarak görmek ilginç.
Eğer bir rafın arka tarafına bakmadıysanız, galeride raflara güç sağlayan büyük kırmızı konektörleri görebilirsiniz. Ayrıca 800VDC yan ünitesinin arka tarafındaki devasa güç kablolarını ve konektörlerini de görebilirsiniz.
Nvidia'nın Yeni Nesil Yapay Zeka Altyapısı Tanıtıldı
Tesisin ön tarafında Nvidia, yeni nesil yapay zeka altyapısının tüm bileşenlerini sergiledi. Bunların çoğu daha önce görülmüş olsa da, genellikle fuar stantlarında veya sunumlarda karşımıza çıkıyor.
İlk olarak, yukarıda GB300 tepsisinin yanında duran Vera Rubin NVL72 tepsisini görüyorsunuz. Her ikisi de Nvidia tarafından tam olarak üretilip entegre edilen DGX tasarımlarıdır. Bu, montajdaki belirgin farkı hemen görmenizi sağlıyor. Vera Rubin NVL72 tepsisi sadece iki kablo, hortumsuz ve fansız bir tasarıma sahip. İki Süper Çip kartının bulunduğu arka kısımda, kartların saniyeler içinde takılıp çıkarılmasına olanak tanıyan bir tutma kolu bulunuyor.
Vera Rubin tepsisi çok daha derli toplu, ancak aynı zamanda alanı daha verimli kullanıyor. GB300 tasarımında ortada önemli bir alan kaplayan fanları içermiyor. Vera Rubin'de bu fanların yerini, tepsinin önündeki iki ConnectX-9 NIC ve Bluefield-4 DPU arasındaki iletişim kanalını sağlayan kalın bir ara plaket almış.
Vera Rubin NVL72 hesaplama tepsisinin içindeki iki kablodan birini tutan, tepsideki farklı çipler için güç yönlendirmesini yapan veri yolu (busbar).
Elbette Vera Rubin NVL72 tepsisi, Nvidia'nın yeni nesil yapay zeka donanımlarının tek dağıtımı değil. Şirket ayrıca sekiz adet Vera çipi içeren, raf başına 256 çipe kadar destek sunan yalnızca CPU'dan oluşan bir tepsi de gösterdi. Bu, hem çipin kendisine hem de geleneksel RDIMM'lere benzer yoğunluk ve modülerlik sunan, ancak çok daha düşük güç tüketimine sahip SOCAMM2 LPDDR5X bellek sistemine daha yakından bakmamızı sağlıyor.
Modüllerin çoğu etiketlenmemiş olsa da, modüllerin nereden geldiğini gösteren yukarıdaki fotoğrafı alabildik. Bunlar, Micron'dan 6400 MT/s hızında çalışan 128GB SOCAMM2 modülleri ve fotoğrafta görülebileceği gibi yuvaların tamamı dolu değil. SOCAMM2'nin büyük avantajı, lehimli olan standart bir bellek sistemi için modülerlik sunmasıdır.
Nvidia'nın NVLink'i, raftaki NVLink anahtarları ve yukarıda görülen NVLink omurgası arasında bölünmüş ölçeklendirme iletişimini sağlıyor. Nvidia, altıncı nesil NVLink'i “fırını arabaya koymak” olarak tanımlıyor. Amacı, bir raftaki tüm çiplerin birbirleriyle iletişim kurmasını sağlamak ve kritik operasyonların (pizza pişirmek gibi) hedefe mümkün olduğunca yakın gerçekleşmesini sağlamak.
Öte yandan, ölçeklendirme iletişimi, tepsideki ConnectX-9 NIC'ler ve Spectrum-X CPO (ortak paketlenmiş optikler) anahtar tepsisi ile sağlanıyor. Spectrum-X anahtar tepsisi devasa boyutta ve modern bir yapay zeka veri merkezinde iletişim için (ham hesaplamaya kıyasla) ne kadar fiziksel alanın ayrıldığını gösteriyor.
Elbette anahtar tepsisinin boyutu, ölçeklendirme altyapısının genişliğine bağlı. Nvidia, daha küçük dağıtımlar için daha küçük bir Spectrum-X CPO tepsisi de gösterdi. Nvidia'nın yapay zeka veri merkezi Süper Laboratuvarı'nda görebildiğimiz her şey bu kadar. Vera Rubin üretimde ve 2026'nın ikinci yarısında kullanıma sunulacak.
