Yapay zeka alanında 'Uzmanlar Karışımı' (Mixture of Experts - MoE) modellerinin performansını artırmak, sektörün karşılaştığı en büyük zorluklardan biri olarak görülüyordu. Ancak NVIDIA, "ortak tasarım" (co-design) performans ölçeklendirme yasalarından aldığı güçle bu alanda önemli bir atılım gerçekleştirdi.
NVIDIA'nın GB200 NVL72 Yapay Zeka Kümesi, MoE Odaklı Kimi K2 Düşünce LLM'inde 10 Kat Daha Yüksek Performans Sağlıyor
Yapay zeka dünyası, temel dil modellerinin (LLM) parametrelerini artırarak ve performanslarını iyileştirerek büyümeye odaklanmış durumda. Ancak bu yaklaşımın, şirketlerin yapay zeka modellerine yatırabileceği hesaplama kaynakları açısından bir sınırı var. İşte bu noktada 'Uzmanlar Karışımı' (MoE) modelleri devreye giriyor. MoE modelleri, bir sorgu için her parametreyi değil, yalnızca istenen hizmet türüne bağlı olarak belirli bir bölümünü aktif hale getiriyor. MoE'ler LLM'lerde yaygınlaşsa da, bunları ölçeklendirmek önemli bir hesaplama darboğazı yaratıyor. NVIDIA, bu darboğazı başarıyla aştığını duyurdu.
Şirketten yapılan açıklamada, GB200 'Blackwell' NVL72 yapılandırması ile önceki Hopper HGX 200'e kıyasla performansı 10 kat artırmayı başardığı belirtildi. Bu hesaplama gücü, özellikle ileri düzey MoE modeli olan ve 32 milyar aktif parametreye sahip Kimi K2 Düşünce LLM üzerinde test edildi. NVIDIA, Blackwell mimarisinin yükselen MoE modellerinden en iyi şekilde faydalanmaya hazır olduğunu iddia ediyor.
MoE yapay zeka modellerini ölçeklendirirken karşılaşılan performans darboğazlarını aşmak için NVIDIA, "ortak tasarım" yaklaşımını benimsedi. Bu yaklaşım, 72 çipli GB200 yapılandırması ve 30 TB hızlı paylaşılan bellek ile uzman paralelliğini yeni bir seviyeye taşıyor. Bu sayede, token grupları GPU'lar arasında sürekli olarak bölünüp dağıtılıyor ve iletişim hacmi doğrusal olmayan bir oranda artıyor. Yapılan diğer optimizasyonlar arasında şunlar yer alıyor:
Bu başarı, özellikle birçok ileri düzey modelin yeteneklerini artırmak için yapay zeka sunucularını kullandığı bu dönemde, NVIDIA ve iş ortakları için önemli bir gelişme. MoE modelleri, hesaplama açısından verimli yapılarıyla biliniyor ve bu nedenle geniş bir yelpazede dağıtımları giderek daha yaygın hale geliyor. NVIDIA, bu trendden faydalanmada kilit rol oynamaya hazırlanıyor.
