Nvidia'nın NVLink Fusion programı, şirketin iş ortaklarına özel çiplerini, birden çok işlemciyi tek bir uyumlu sistemde birleştiren NVLink ölçeklendirme alanına bağlama imkanı sunuyor. Bu programa eklenen en son gelişme ise NVHBM adında, günümüzde kullanılan neredeyse tüm yapay zeka hızlandırıcılarının temelini oluşturan yüksek bant genişlikli belleğin özel bir uyarlaması.
Nvidia'nın açıklamalarına göre NVHBM, geleneksel HBM4e'ye kıyasla daha yüksek bant genişliği, daha düşük güç tüketimi ve daha küçük bir yonga alanı vaat eden özel bir HBM taban yongası. Şirket, bu teknolojinin önde gelen bellek üreticileriyle birlikte tasarlanıp doğrulandığını belirtiyor. Bu da özel silikon geliştiricilerinin, sıfırdan HBM uygulamasına göre daha hızlı pazara ulaşmasını sağlıyor. Ancak bu, HBM'nin yerine geçen bir teknoloji değil; Nvidia'nın sadece özel silikon ortaklarına sunduğu yeni bir yapı taşı.
Yapay zeka hızlandırıcıları için bellek bant genişliği kritik öneme sahip. NVHBM, standart HBM4e'ye kıyasla yığın başına %30'a kadar daha yüksek bant genişliği sunuyor. Bellek bant genişliği sınırlı yapay zeka iş yüklerinde, bu artış daha yüksek işlem gücü anlamına geliyor; özellikle yapay zeka çıkarımında saniye başına daha fazla token işlenebiliyor.
NVHBM taban yongası ayrıca, ana özel hızlandırıcı yongası üzerindeki bellek ile ilgili devrelerin alanını da azaltıyor. Geleneksel olarak, HBM bellek denetleyicisi paketteki ana silikon yongasına entegre edilirdi. NVHBM ise bellek denetleyicisini HBM yığınının taban yongasına taşıyor ve NVLink Fusion müşterilerinin tasarımlarına entegre edebilecekleri daha küçük, özel bir PHY sağlıyor.
Nvidia, bu yaklaşımın, ilave hesaplama yongası alanı için değerli paket alanını serbest bıraktığını belirtiyor; bu da ana silikon yongasında %30'a kadar daha fazla hesaplama gücü anlamına gelebilir. NVHBM ayrıca, gelişmiş paketleme teknikleri kullanan tasarımlarda, birden çok çipi birleştirmek için kullanılan ara katman yönlendirmesini de basitleştiriyor.
NVHBM, standart HBM4e yığınlarına göre güç tasarrufu da sağlıyor. Nvidia'nın sıkça vurguladığı gibi, token üretimini sağlamayan her watt israf edilmiş demektir. NVHBM, standart HBM4e'ye göre %15 daha az güç tüketiyor. Bu güç tasarrufu, performans başına verimliliği artırmak için kullanılabileceği gibi, özel bir hızlandırıcı tasarımında daha fazla fonksiyonel birime ayrılabilir veya aynı güç bütçesi dahilinde daha yüksek sürekli performansa dönüştürülebilir.
Daha düşük güçte daha yüksek bant genişliği, model ağırlıkları ve KV önbellekleri gibi büyük veri yapılarını taşıyan yapay zeka hızlandırıcıları için büyük bir avantaj sağlıyor. Özellikle bu tasarrufların binlerce yongaya yayıldığı düşünüldüğünde, veri taşıma sırasında kaydedilen enerji, hızlandırıcının kendisinden daha yüksek performans elde etmek için kullanılabileceği gibi, aynı sabit güç zarfı içinde daha fazla hızlandırıcıyı desteklemek için de ayrılabilir.
Ancak bunlar, şu an için Nvidia'nın potansiyel ortaklarının NVLink Fusion ve NVHBM'yi özel tasarımlarına entegre etmelerini düşündürecek nedenler; halihazırda üretimde olan Rubin raf ölçekli sistemlerde görülecek faydalar değil.
NVHBM'nin yanı sıra Nvidia, Amazon'un Annapurna Labs'inin NVHBM konusundaki ilk ortağı olacağını duyurdu. Annapurna Başkan Yardımcısı Nafea Bshara, “Bu teknoloji işbirliğinin gelecekteki AWS altyapı tasarımlarına fayda sağlamasını dört gözle bekliyoruz” dedi. Annapurna'nın bir sonraki nesil Trainium 4 yapay zeka çiplerinin NVLink Fusion ölçeklendirme arayüzünü destekleyeceği göz önüne alındığında, sonraki çiplerin de NVHBM'yi desteklemesi muhtemel görünüyor.
