Yapay zeka (YZ) hızlandırıcılarının karşı karşıya olduğu en acil zorluklardan biri olan Yüksek Bant Genişlikli Bellek (HBM) yığınlarının artan yüksekliği ve bunun getirdiği ısı sorunu, Kore ve Japonya'dan gelen iki yenilikçi bellek entegrasyon önerisiyle aşılmaya çalışılıyor. Bu iki ayrı çalışma, geleneksel HBM tasarımlarındaki dikey istifleme yerine bellek yongalarını (die) dikey konumda yerleştirerek hem kapasiteyi hem de bant genişliğini artırmayı hedefliyor.
Koreli araştırmacıların Ulsan Ulusal Bilim ve Teknoloji Enstitüsü (UNIST) öncülüğünde sunduğu Dikey-Die (V-Die) tasarımı, bellek yongalarını dik konuma getirerek daha fazla bellek hücresi için alan yaratıyor. Her yonganın kendine ait alt kenarda giriş/çıkış (I/O) birimleri bulunurken, komşu yongalar arasına sıvı soğutma kanalları yerleştiriliyor. Simülasyonlar, V-Die sisteminin HBM4 ile karşılaştırıldığında GPT-3 boyutundaki bir iş yükünde saniyede 540 token işleme kapasitesi sunarak önemli bir performans artışı sağladığını gösteriyor.
Japonya'dan gelen MOSAIC projesi ise benzer bir “yan yana istifleme” konseptini benimserken, dikey konumdaki çok sayıda yonganın GPU veya paket alt tabakasına bağlanmasındaki pratik zorluklara odaklanıyor. Tokyo Üniversitesi araştırmacılarının geliştirdiği MOSAIC, dikine yonga istifleme ve temassız yonga-yonga arayüzü kullanıyor. Bu yöntemde veri, her sinyal pedinin fiziksel temas gerektirmesi yerine, minik indüktif bobinler aracılığıyla aktarılıyor. Bu prototip arayüzün kanal başına 4 Gbps'ye kadar hızlara ulaştığı ve bellek yapısının, DRAM-on-GPU konfigürasyonunda HBM4 sınıfı kapasiteyi iki katına çıkarabileceği belirtiliyor.
Her iki proje de, YZ çiplerinin bellek darboğazıyla kısıtlanması sorununa çözüm bulmayı amaçlıyor. Modern hızlandırıcılar devasa hesaplama gücüne sahip olsa da, büyük ve güçlü modellerin çalışması için bellek ile hesaplama birimi arasında büyük veri akışına ihtiyaç duyuluyor. Bu nedenle HBM, modern YZ donanımının belirleyici teknolojilerinden biri haline gelmiş durumda.
Mevcut HBM teknolojisinde, bellek duvarı sorunu, birden çok DRAM yongasının dikey olarak bir taban yongasının üzerine istiflenmesi ve bu yığının işlemciye yakın konumlandırılmasıyla çözülmeye çalışılıyor. Ancak bu dikey yığınlar, özellikle alt katmanlardaki ve yüksek hızlı arayüzdeki ısının dışarı atılmasını zorlaştırıyor. Isı, silikon katmanları, yapıştırma malzemeleri ve paket yapılarından geçerek ısı yayıcıya ulaşmak zorunda kalıyor. Ayrıca, dikey iletken delikleri (TSV'ler) bellek hücresi için kullanılabilecek alan kaplıyor.
HBM'nin en yeni nesli olan HBM4, bu zorlukların bazılarını ele alıyor. Diğer yandan, SK hynix, Samsung ve Micron gibi şirketler hız, kapasite, taban yongası performansı ve termal yönetim alanlarında geliştirmeler yapıyor. SK hynix, soğutma elemanlarını HBM arayüz alanına entegre eden iHBM teknolojisini tanıtırken, Samsung da HBM5 prototipinde Heat Path Block soğutma ile ısıyı doğrudan yığından uzaklaştırmayı hedefliyor. Ancak bu çözümler de geleneksel dikey istifleme yapısını koruyor.
V-Die ve MOSAIC projeleri tam da bu geleneksel yapıyı zorluyor. DRAM yongalarını dik konuma getirerek, araştırmacılar daha fazla silikon yüzey alanını soğutma yoluna maruz bırakıyor. Teorik olarak bu, bellek yığınını, ısının yanlara doğru hareket edip daha doğrudan kaçabileceği bir ısı emici fin dizisine benzetiyor. Ayrıca, her yonganın tabanında veya kenarında yeni bağlantı şemalarının önünü açarak, TSV'ler aracılığıyla dikey iletişime olan zorunluluğu ortadan kaldırıyor.
V-Die tasarımında anahtar değişiklik, bellek yongalarındaki TSV'leri kaldırmak ve bunları alt kenar bağlantılarıyla değiştirmek. Her DRAM yongası, kendi I/O'sunu alt kenarında barındırıyor ve doğrudan alt tabakaya bağlanıyor. Araştırmacılar, bu düzenlemenin HBM4'ten dört kat daha fazla bağlantı sağladığını ve bellek okuma süresini %37 azalttığını belirtiyor.
Soğutma ise V-Die'nin diğer önemli bir argümanı. Tasarım, komşu dikey DRAM yongaları arasına mikro akışkan soğutma kanalları yerleştiriyor. Bu, soğutucunun ısıyı kaynağına daha yakın bir şekilde dağıtmasını sağlıyor. Araştırmacılara göre bu, yığının sıcaklığını geleneksel yoğun HBM sistemlerinde görülen 80°C'nin çok altında, yaklaşık 45°C'de tutabilir. Simüle edilen bir H100 sınıfı donanıma sahip 16 yongalı V-Die yığını, HBM4'e kıyasla %45 daha fazla işlem gücü gösterdi ve ilk token gecikmesini %32 azalttı.
MOSAIC ise yan yana istifleme işleminin üretilebilirliğine odaklanıyor. Yongalar düz bir şekilde monte edilip sonra kenara çevrildiğinden, birkaç mikronluk yonga kalınlığı farkı bile onlarca yonga arasında hizalama sorunlarına yol açabilir. Japon ekibin çözümü, endüktif kuplaj tabanlı temassız bir arayüz. Bellek yongasının bir tarafında bobinler bulunurken, karşılık gelen bobinler alt tabakada veya eşleşen çipte yer alıyor. Bir bobindeki akım, diğerinde bir sinyal indükleyerek, doğrudan metal-metal temasına gerek kalmadan veri aktarımını sağlıyor. Bu, hassas hizalama ihtiyacını ortadan kaldırarak paket montajı için daha fazla tolerans sağlıyor.
VLSI MOSAIC prototipi kanal başına 4 Gbps'ye kadar hızlara ulaştı ve temassız 3D entegrasyon yeteneğini sergiledi. Ekip, bu yaklaşımın HBM4'ün iki katı bellek kapasitesine önemli bir tepe sıcaklık artışı olmadan imkan tanıyabileceğini belirtiyor. ECTC'deki bir gösterimde kullanılan bump-MOSAIC donanımı, geleneksel istiflemeye göre üç kat daha fazla termal iletkenlik sağlarken bellek kapasitesini %30 artırdı.
Her ne kadar sonuçlar umut verici olsa da, ne V-Die ne de MOSAIC ticari HBM'nin yerini almaya yakın değil. V-Die hala bir mimari önerisi ve termal ile elektriksel davranışını doğrulamak için prototip çalışmaları devam ediyor. MOSAIC'in ise temel prensip donanımı mevcut ancak araştırmacılar henüz bunun ticari DRAM kapasitesi, verimlilik, maliyet ve güvenilirlik açısından ölçeklenebilirliğini göstermiş değil.
Yine de, YZ belleği sorununa yönelik her uygulanabilir çözüm memnuniyetle karşılanıyor. SoftBank ve Intel'in Z-Angle Memory (ZAM) ve NEO Semiconductor'un 3D X-DRAM gibi projeleri, hala geliştirme aşamasında olmalarına rağmen geleneksel belleğin kısıtlamalarını çözmeyi hedefliyor. Bu arada, bellek üreticileri daha karlı YZ HBM ve sunucu ürünlerine kapasite ayırırken, genel pazar fiyat ve bulunabilirlik baskısı hissediyor ve tüketici RAM fiyatlarını daha da artırıyor.
