Yapay zeka (YZ) iş yüklerinde performansın önündeki en büyük engellerden biri olan "bellek duvarı"na Qualcomm'dan devrim niteliğinde bir çözüm geliyor. Şirket, günümüzdeki yüksek bant genişliği belleği (HBM) çözümlerinin bile her zaman yeterli olamadığı bu sorunu aşmak ve YZ performansını doğrusal olarak ölçeklendirmek amacıyla Yüksek Bant Genişliği Hesaplama (HBC) adını verdiği yeni bir hafızaya yakın hesaplama mimarisini duyurdu.
Qualcomm'un bu alandaki yaklaşımı oldukça net: YZ hızlandırıcısını yonga setinden (SoC) ayırarak LPDDR DRAM yığınının altına yerleştiriyor. HBC hızlandırıcısı, LPDDR yığınına gelişmiş paketleme veya pahalı HBM bellek kullanmadan maksimum bant genişliği ve kapasite sağlamak için silikon içinden geçişler (through-silicon vias) aracılığıyla bağlanıyor. Qualcomm, HBC'nin sunduğu kesin bant genişliği değerlerini paylaşmasa da, HBM'ye kıyasla watt başına 6 kat daha yüksek bant genişliği ve dahili SRAM'e göre ise 200 kat daha fazla kapasite sunduğunu iddia ediyor.
Qualcomm Veri Merkezi İş Birimi Kıdemli Başkan Yardımcısı ve Genel Müdürü Tony Pialis, "YZ hızlandırıcısını XPU'dan ayırıp doğrudan bir DRAM yığınının altına yerleştirdik. Bu, SRAM'in performans avantajlarını yığılmış belleğin yoğunluğu ve kapasitesiyle birleştirdiği için çok önemli. Sonuç olarak HBM ile yaşanan tıkanıklık ortadan kalkıyor. Bu teknoloji, sektör için daha düşük güç tüketimi, daha az ısı üretimi ve HBM çözümlerinde kullanılan maliyetli silikon ara katmanın ortadan kalkması anlamına geliyor. Ayrıca standart paketleme kullanarak tek bir hesaplama cihazına birden fazla HBC yığını konuşlandırabiliyoruz, bu da maliyet başına önemli bir performans avantajı sağlıyor," açıklamasında bulundu.
Mantık entegre devrelerin üzerine veya yanına DRAM yerleştirmek yeni bir konsept değil. Tüm DRAM üreticileri hafızaya yakın hesaplama mimarileri üzerinde deneyler yapmış olsa da, bu teknolojileri yaygınlaştırmayı başaramadılar. Son zamanlarda, ASIC tasarım hizmetleri sunan GUC firması, mantık entegre devrelerin üzerine bir ila dört DRAM katmanı yerleştirerek yaklaşık 5 TB/s bellek bant genişliği elde eden ve pahalı gelişmiş paketleme ile HBM3E yığınlarını kullanmadan bazı HBM3E bellek alt sistemlerinden daha yüksek performans sunan DRAM-on-Logic (DoL) teknolojisini önermişti.
Qualcomm'un HBC teknolojisinin kesin performans rakamlarını paylaşmaması, bu teknolojiyi GUC'nin sunduğu çözümlerle doğrudan karşılaştırmayı zorlaştırıyor. Ancak HBC ile ilgili en büyük belirsizlik, Qualcomm'un HBC hızlandırıcısının tam olarak ne işe yaradığını açıklamıyor olması. Teorik olarak bu hızlandırıcı, Transformer modellerine özel bir motor, daha genel bir tensor çekirdekleri dizisi veya YZ çıkarım (inference) veya eğitim (training) için bir tür ön işleme mantığı olabilir.
HBC teknolojisinin yanı sıra, Qualcomm HBC yol haritasını da detaylandırdı. Bu yılın ilerleyen zamanlarında piyasaya sürülecek olan AI200 hızlandırıcısı, LPDDR5X belleği kullanarak sunucu başına 43 TB RAM sunacak. Bu hızlandırıcının ardılı olacak AI250 ise 1. Nesil HBC'yi kullanarak AI200'ün 18 katı bant genişliği sağlayacak. AI300 ise 2. Nesil HBC ile AI200'ün 54 katı bant genişliği sunmayı hedefliyor.
