Nvidia'nın süper bilgisayar ve yüksek performanslı bilgi işlemden sorumlu başkan yardımcısı ve CUDA'nın mucidi Ian Buck, şirketin 'yüz binlerce bağımsız Grace sunucusunu' sevk ettiğini belirtti. Mayıs ayında Nvidia, toplamda 2.5 milyonun üzerinde Grace CPU sevk ettiğini duyurmuştu. Şirket ayrıca, Meta ile bağımsız Grace sunucularının dağıtımı konusunda bir ortaklık kurduğunu da daha önce açıklamıştı. Buck'ın bu son yorumları, Nvidia'nın pazardaki diğer oyuncularla rekabet etme çabasında, bu dağıtımların ölçeğinin daha da büyük olabileceğine işaret ediyor.
Bu açıklama şaşırtıcı olmasa da oldukça dikkat çekici. Nvidia, yapay zeka çıkarımı için benzeri görülmemiş bir veri merkezi yapılanması sırasında GPU talebinin fırlamasıyla Silikon Vadisi'nin dominant gücü haline geldi. Ancak yılın başlarındaki zirvesinden bu yana, yatırımcıların Intel gibi CPU üreticilerine yönelmesiyle Nvidia'nın piyasa değerinden trilyonlarca dolar eridi. Gelişen ajan odaklı yapay zeka iş yükleri, donanım dengesini değiştirerek, CPU başına sekiz GPU'dan bazı durumlarda bire bir orana doğru bir kaymaya neden oluyor.
Nvidia, bu trendden yeni Vera CPU'su ile faydalanmak istiyor. Bu işlemci, özellikle bu tür iş yükleri için özel olarak tasarlandı. Ajanların son dönemdeki yükselişinden önce bile Nvidia, veri yoğun iş yükleri için CPU'larına talep gördüğünü belirtiyor. Buck, Grace sunucularının bir web sunucusu olarak veya bulutun ucuz çekirdek başına dolar maliyeti için kullanılmadığını; bunun yerine 'arka uç, veri zengini operasyonlar' gibi veri işleme için dağıtıldıklarını vurguladı.
Grace, Nvidia'nın veri merkezi CPU pazarına giriş kapısı niteliğinde. 72 adet standart Arm Neoverse V2 çekirdeği kullanan Grace, Nvidia'nın Ölçeklenebilir Tutarlılık Dokusu (SCF) ile farklılaşıyor. Vera, güncellenmiş bir SCF kullanmasının yanı sıra, Nvidia'nın Olympus adını verdiği ilk özel çekirdek tasarımına de sahip. Grace bu kapıyı aralarken, Vera Nvidia'nın AMD ve Intel karşısında pazardaki büyük girişini temsil ediyor.
Vera'nın, önümüzdeki günlerde AMD'nin Zen 6 Venedik CPU'larını piyasaya sürmesi beklenirken ısınan yeni nesil veri merkezi CPU'ları savaşındaki yeri ne olursa olsun, tasarımı Intel ve AMD'den gördüğümüzden büyük ölçüde farklı. En dikkat çekici özelliği, Vera'nın monolitik olması; 88 çekirdeğinin tamamı tek bir silikon parçası üzerinde yer alıyor. AMD ve Intel, yıllar önce, gecikme ve tutarlılık sorunları pahasına aşırı yüksek çekirdek yoğunluğu sağlayan çipçik (chiplet) tasarımlarına geçmişti. Vera, yalnızca tek bir kalıp üzerinde üretilmesiyle değil, aynı zamanda önemli bir alanını dokuya ayırmasıyla da radikal bir şekilde farklı.
Buck, bu durumu şöyle açıklıyor: "128 çekirdeğe sahip olmamamızın nedenlerinden biri, kalıbın önemli bir bölümünü dokuya ayırmış olmamızdır. Bu, her çekirdeğin her önbelleğe, her bellek denetleyicisine tam hızda çarpışma olmadan konuşmasına olanak tanıyan, CPU içinde 3.4 TB/s bant genişliğidir."
Açıklık getirmek gerekirse, Buck burada Vera'daki çekirdekten çekirdeğe 3.4 TB/s bant genişliğinden bahsediyor. LPDDR5X arayüzü üzerinden 1.2 TB/s'ye kadar toplam bellek bant genişliği (çekirdek başına 14 GB/s) bulunuyor.
Ancak çipçik tabanlı tasarımlar, iş parçacığı başına performansta tavizler verdiği gibi, Vera da kendine özgü mimarisiyle bazı ödünler verecektir. Veri merkezi iş yüklerinin büyük çoğunluğu hala hiper ölçekleyicilerin geliştirdiği "eski" görevlerden oluşuyor ve yapay zeka altyapısına olan doymak bilmez talep göz önüne alındığında bile, bu durumun birkaç yıl içinde değişmesi pek olası değil.
Buck bu tavizi farkında: "Intel ve diğerleri zengin dokular inşa edebilir mi? LP belleğe kadar her şeyi bağlamak için IP'leri ve ekosistemleri var mı? Bunu ne zaman yapacaklarını bize söylemeleri gerekiyor... ancak bu taviz, eski iş yüklerinin maliyetine olacaktır." Bu yılın başlarında, Mart ayındaki GTC etkinliğinde Buck daha netti. Yönetici o zamanki bir haber konferansında, "Dünya tek bir CPU SKU'su ile hizmet verilemeyecek ve amacımız da bu değil" demişti.
Yine de, Nvidia'nın veri merkezi CPU'ları konusunda, borsada dolaşan manşetlerin ötesinde iddiaları olduğu açık. Nvidia, CPU'ların kendisi için 200 milyar dolarlık bir toplam adreslenebilir pazar (TAM) fırsatı sunduğunu belirtiyor. Bu, sektörün 2030 yılına kadar yaklaşık 120 milyar dolarlık bir TAM öngördüğü (ancak son tahminler 170 milyar dolara kadar yükseldi) göz önüne alındığında oldukça iyimser bir tahmin. Morgan Stanley'nin Nisan ayındaki tahminine göre ajanlar, veri merkezi CPU pazarına 60 milyar dolara kadar ekleyebilir.
Vera, Nvidia'nın Rubin GPU'ları, ConnectX-9 NIC'leri, SpectrumX Ethernet anahtarları ve bir Vera Rubin NVL72 rafı oluşturmak için kullanılan çeşitli bileşenler dahil olmak üzere, yeni nesil yapay zeka altyapısıyla birlikte tam üretimde. Şirket, bir rafta yaklaşık 1.3 milyon bileşen olduğunu ve bunları oluşturmak için dünya çapında 300'den fazla ortağı olduğunu belirtiyor. Geçen hafta Nvidia genel merkezini ziyaret ettiğimizde, OpenAI iş yüklerini çalıştıran bir Vera Rubin NVL72 rafını yerinde gördük.
