NVIDIA'nın yeni Blackwell platformu, yapay zeka çıkarım iş yüklerinde token optimizasyonunda yeni bir seviye getirdi. Şirket, tokenomik alanında devasa bir kilometre taşını duyurdu.
NVIDIA'nın GB200 NVL72'si, Hopper'dan 10 Kat Daha İyi Tokenomik Başarıyor: "Uzman Düzeyinde" Paralellik Kaynak Gösteriliyor
NVIDIA, yapay zeka dünyasında yeni altyapılar inşa etme yarışına girmişken, şirketin en büyük odak noktalarından biri dağıttığı donanımın verimliliğini artırmak olmuştur. Blackwell ile eğitilen gelişmiş yapay zeka modelleri piyasaya sürülürken, NVIDIA'nın token çıktısı ve maliyetler konusundaki ilerlemesini gördük. Şimdi ise şirket, iş ortaklarıyla birlikte Blackwell performansını ölçeklendirmek için çalıştığını ve Hopper nesline kıyasla önemli ölçüde on katlık bir iyileşme sağladığını açıkladı.
Blackwell'deki tokenomik konusunu tartışırken, NVIDIA, Baseten ve Sully.ai gibi kuruluşların yanı sıra oyun odaklı DeepInfra ve Latitude gibi şirketlerden de bahsetti. Her bir şirket için Blackwell mimarisi, daha düşük gecikme süresi, optimal çıkarım maliyetleri ve güvenilir yanıtlar elde etmelerini sağladı. Bu nedenle, teknoloji yığını günümüzün ana akım yapay zeka şirketleri için tercih edilen seçenek haline geldi. Hatta çok ajanlı iş akışlarında ve özel yapay zeka ajanları dağıtımında Sentient Labs adlı bir şirket, Hopper'a kıyasla "%25-50 daha iyi maliyet verimliliği" elde ettiğini belirtti.
NVIDIA'nın Blackwell yapay zeka mimarisiyle kaydettiği ilerleme, günümüzün uzman karışımı (MoE) mimarilerine son derece uygun olan "aşırı eş tasarım" yaklaşımıyla destekleniyor. GB200 NVL72 ile NVIDIA, uzman paralelliğini yepyeni bir seviyeye taşımak için 72 yongalı bir yapılandırmayı 30 TB hızlı paylaşımlı bellek ile birleştiriyor. Bu, token gruplarının sürekli olarak GPU'lar arasında bölünüp dağıtılmasını ve iletişim hacminin doğrusal olmayan bir oranda artmasını sağlıyor. Tokenomik açısından Blackwell'in şimdiye kadarki en verimli rakamlarına ulaşmasının nedenlerinden biri de budur.
Vera Rubin ile birlikte, şirket mimari ilerlemeler, CPX gibi özel mekanizmalar ve çok daha fazlası tarafından yönlendirilen altyapı verimliliğini yepyeni bir seviyeye taşımayı planlıyor. Yapay zeka dünyası baş döndürücü bir hızla gelişiyor ve bu nedenle yeni donanımlar geliştirmek kadar donanımı optimize etmenin de önemli olduğunu kabul etmeliyiz.
