SoftBank, AMD Instinct yapay zeka çiplerini yapay zeka iş yükleri için çok daha kullanışlı hale getirmeyi amaçlayan ilgi çekici bir 'GPU bölümleme' mekanizması üzerinde çalışıyor.
SoftBank, AMD Instinct GPU'ları İçin Kendi Geliştirdiği Orkestratörü Devreye Aldı: Donanım ve Bellek Havuzlarını Bölüyor
Son zamanlarda NVIDIA'nın hakimiyetindeki yapay zeka altyapısında AMD, özellikle yeni modellerin piyasaya sürülmesiyle birlikte büyük ilgi görmedi. AMD'nin önde gelen müşterileri arasında yer alan SoftBank, bu kez teknoloji kanadından oldukça ilginç bir gelişme duyurdu. SoftBank'ın paylaştığı bilgilere göre, AMD Instinct yapay zeka çipleriyle birlikte geliştirdikleri bir Orkestratör (Orchestrator) platformunu entegre ettiler. Bu platformun temel amacı, bilgi işlem kaynaklarını iş yükü yoğunluğuna ve kullanılabilirliğe göre dağıtmak.
Teknik detaylara inecek olursak, SoftBank'ın Orkestratörü, iş yüklerini birden fazla GPU örneğine (Accelerator Complex Die - XCD) ayırarak AMD Instinct GPU'ları içindeki işlem gücünün dağılımına odaklanıyor. Tek bir örnek (SPX modu) veya sekiz adede kadar örnek (CPX modu) ile çalışabilme esnekliği sunuluyor, bu da her yapılandırmada daha ince ayar imkanı sağlıyor. XCD bölümlemesine ek olarak, Orkestratör AMD'nin yüksek kapasiteli belleklerinden de faydalanarak, her bir GPU örneği için ayrı HBM bölgeleri oluşturuyor.
SoftBank, Orkestratör ile bilgi işlem kaynakları üzerinde daha düşük seviyede bir kontrol elde etmeyi hedefliyor. Aynı zamanda, öngörülemeyen gecikme artışlarını önlemek için sıkı bir donanım düzeyinde izolasyon sağlamayı amaçlıyor. Şirket henüz performans verilerini paylaşmamış olsa da, özellikle küçük ve orta ölçekli iş yüklerinde (SLM ve MLM) daha etkili olan "optimal kaynak tahsisi"nden bahsediyor. SoftBank ayrıca bu tür orkestratörleri diğer yapay zeka hızlandırıcıları için de araştırmayı planlıyor, ancak şimdilik bu uygulama AMD ile sınırlı.
