Teknoloji devi NVIDIA, yapay zeka sistemlerinde bellek kullanımını azaltarak maliyetleri düşürme yoluna gidiyor. GF Securities'in analizine göre, firmanın Vera Rubin NV72 raf tipi yapay zeka sistemi, artan bellek fiyatları ve tedarik sıkıntısı nedeniyle bellek kapasitesinde önemli ölçüde azaltılacak. Bu hamle, şirketin uzun vadeli bellek anlaşmaları sayesinde bellek sektöründeki zorlu süreci daha kolay atlatmasını sağladı.
Bellek Kapasitesi Azaltılarak Maliyetler Yüzde 50'ye Kadar Düşürülebilir
NVIDIA'nın Vera Rubin NVL72 raf sistemleri, dünyanın en güçlü yapay zeka sistemleri arasında yer alıyor. Ocak ayında duyurulan bu sistemlerin ilk performans verileri, CoreWeave'in farklı yapay zeka sistemleri için paylaştığı verilerle bu ayın başlarında ortaya çıktı. Özellikle uzmanlar karışımı (MoE) iş yüklerinde, NVIDIA'nın Blackwell yapay zeka GPU'ları ile güçlendirilen sistemler 150 megawatt güç tüketimiyle saniyede 80.000 token işlerken, Vera Rubin VR200 NVL72 platformu bu rakamı 10 kat artırarak saniyede 800.000 token'a çıkardı.
Bu performans sonuçları, daha önceki bir raporun, bir NVL72 Rubin Raf'ının özellikle artan bellek fiyatları nedeniyle yaklaşık 9.1 milyon dolara mal olabileceği yönündeki tahminlerinin ardından geldi. Yapılan tahminler, bellek fiyatlarındaki artışların 2027 yılına kadar gigabayt başına 53 dolara ulaşabileceği yönünde.
Şimdi ise GF Securities tarafından yayımlanan bir rapor, NVIDIA'nın bellek piyasasındaki arz ve fiyat kısıtlamalarıyla başa çıkmak için ayarlamalar yaptığını gösteriyor. Bu ayarlamaların ilk adımı olarak Vera Rubin NVL72 raflarında, önceki 192 GB modüller yerine 96 GB'lık SOCAMM (Small Outline Compression Attached Memory Module) bellek kapasitesinin yarı yarıya azaltılacağı belirtiliyor. Bu değişiklikler, LPDDR5X pazarındaki kısıtlamalara bir yanıt niteliği taşıyor.
Benzer şekilde, Vera CPU'lar da önceki 54-55 TB'tan 28 TB'a düşürülecek. GPU'lar ise raf başına 20.7 TB HBM4 belleği kullanmaya devam edecek. CPU rafları için SOCAMM modüllerinin de her CPU başına 96 GB olacağı öngörülüyor.
Bu kararların finansal etkileri, bellek kapasitesi dörtte bir oranında kesildiğinde VR200 için LPDDR5X maliyetlerinin 293.000 dolara kadar düşebileceği anlamına geliyor. Kapasite 96 GB'a indirildiğinde ise bu rakam 586.000 dolara ulaşacak ve önceki 1.2 milyon dolarlık tahminin altında kalacak. GF Securities, bu ayarlamalar yapılmadığı takdirde bellek maliyetlerinin VR200 sisteminin toplam malzeme maliyetinin %29'una, yani 2.1 milyon dolara ulaşabileceğini ekliyor. Bu oran, tercih edilen %20 seviyesinin oldukça üzerinde.
