Yapay zeka (YZ) dünyasında tansiyon yükseliyor. Çinli teknoloji devi DFSX, yapay zeka iş yüklerinde verimliliği artırmanın anahtarının sadece çip küçültme değil, aynı zamanda hafıza bant genişliği olduğunu kanıtlamak için iddialı bir adım attı. Firmanın geliştirdiği DF1000 ve yakında piyasaya sürülecek DF2000 çiplerinin, TY64 SuperNode adı verilen bir mimariyle bir araya geldiğinde, NVIDIA'nın GB200 NVL72 sistemini hafıza bant genişliği konusunda ikiye katladığı belirtiliyor.
DFSX'in TY64 SuperNode'u, 14nm DF2000 çiplerle 960TB/s Hafıza Bant Genişliği Sunuyor, NVIDIA GB200 NVL72 İse 576TB/s'de Kalıyor
DFSX'in DF1000 çipinin, olgunlaşmış 14nm üretim süreciyle üretilmesine rağmen, bilgi işlem katmanının doğrudan üzerine yerleştirilmiş ve 3D wafer seviyesi hibrit bağlama ile bağlanan yenilikçi bir 3D yakın hafıza bilgi işlem mimarisine sahip olduğu biliniyor. Bu teknoloji, iki katmanın bakır yollarını birleştirerek mikro tümsekleri veya kabloları tamamen ortadan kaldırıyor ve tek bir yatay otoyol yerine milyonlarca ultra hızlı dikey asansör gibi çalışıyor.
DF2000 çipi ise bu teknolojiyi daha da ileri taşıyor. Sadece tek bir hafıza katmanını bilgi işlem katmanının üzerine istiflemek yerine, DF2000, DFSX'in 3.5D Infinity Chiplet düzeni olarak adlandırdığı teknikte, birden fazla istiflenmiş hafıza-bilgi işlem kulesini bir temel üzerinde yan yana birleştiriyor. Çip, temel depolama katmanlarını özel olarak tasarlanmış bir 3D Dinamik Rastgele Erişim Belleği (DRAM) düzeniyle değiştirerek, yapısının içinde doğrudan tutulabilen geçici veri miktarını dramatik bir şekilde artırıyor.
Temel olarak DFSX, yapay zeka iş yükleri için uzun süredir devam eden bir soruna çözüm bulmaya çalışıyor: Grafik işlem birimleri (GPU'lar) çoğunlukla hafıza katmanlarından veri beklerken boşta kalıyor. DFSX, buradaki en büyük darboğazın küçültme değil, "hafıza duvarı" olduğunu savunuyor.
Ve şimdi bu iddiaları destekleyecek rakamlar mevcut. Örneğin, her bir DF2000 çipi 15TB/s bant genişliği sunuyor. Bir TY64 SuperNode formatında istiflendiğinde, toplam hafıza bant genişliği 960TB/s'ye ulaşıyor. Buna karşılık, NVIDIA'nın GB200 NVL72 sistemi ise toplamda sadece 576TB/s hafıza bant genişliği sunuyor!
Elbette, 4nm bir çip ile 14nm bir çip arasındaki fark, ilgili BF16 puanlarına bakıldığında daha belirgin hale geliyor. DF2000 tabanlı TY64 SuperNode, 64 PFLOPS BF16 işlem gücü sunarken, GB200 NVL72 sistemi 360 PFLOPS'luk bir güce sahip. Ancak DFSX, DF2000 tabanlı TY SuperNode'un ham işlem gücündeki olası eksiklikleri, 2 kat daha fazla hafıza bant genişliği ile gidermeyi hedefliyor.
Özetle DFSX, yapay zeka iş yükleri söz konusu olduğunda FLOPS'un yanlış metrik olduğuna inanıyor ve hafıza verimliliğinin en önemli metrik olduğunu düşünüyor. DF3000 çipinin ise 20TB/s hafıza bant genişliği sunması ve TY64 SuperNode içinde 1.280TB/s'ye ulaşması bekleniyor. Bu rakam, NVIDIA'nın Vera Rubin NVL72 sisteminin sunduğu 1.580TB/s'lik toplam hafıza bant genişliğinin sadece yüzde 23 daha fazlası olacak.
