Yapay zeka alanındaki en hızlı işlemcilerin gücünü oluşturan HBM belleklerin yüksek maliyetlerini düşürmeye yönelik önemli bir adım atıldı. JEDEC, yeni SPHBM4 standardını duyurarak, pahalı interposer'lardan vazgeçip daha uygun maliyetli organik alt tabakalar kullanarak yüksek bant genişlikli bellek (HBM) entegrasyonunda maliyetleri azaltmayı hedefliyor.
JEDEC tarafından yayınlanan SPHBM4 (Standard Package High Bandwidth Memory - JESD330-4) spesifikasyonu, HBM4 DRAM yongalarını standart paketleme ve hızlı bir 'dar' 512-bit arayüz ile birleştiriyor.
512-bit Arayüz ile HBM4 Performansı
HBM3 ve HBM4 belleklerde kullanılan 1024-bit ve 2048-bit arayüzler rakipsiz performans sunsa da, geniş arayüzleri işlemcilerde önemli silikon alanı kaplıyor, pahalı interposer'lar gerektiriyor ve entegrasyon için sınırlı kapasiteye sahip gelişmiş paketleme teknolojilerine ihtiyaç duyuyor. SPHBM4 belleği, HBM4 DRAM yığınlarını kullanmaya devam ederken, geleneksel HBM taban yongası yerine daha dar 512-bit arayüzlü yeni bir SPHBM4 PHY/tampon yongasıyla geliyor. Bu sayede gelişmiş paketleme yöntemlerine gerek kalmadan standart organik alt tabakalara monte edilebiliyor. Dar arayüzün etkisini dengelemek için SPHBM4, saniyede 22.4 GT/s'den 46.0 GT/s'ye kadar önemli ölçüde daha yüksek veri aktarım hızlarını destekliyor.
SPHBM4, HBM4 gibi 2048-bit bellek arayüzü yerine, sekiz adet Dörtlü Kanal'a (Quad Channel) ayrılmış 32 adet bağımsız 16-bit DDR kanalı kullanıyor. Her bir HBM4 yığını dahili olarak 64-bit genişliğinde 32 bellek kanalına sahipken, SPHBM4 bu 2048-bit dahili G/Ç'yi 512-bit harici arayüze dönüştürüyor. Bu sayede her dört HBM4 kanalı bir Dörtlü Kanal olarak gruplandırılıyor. Harici olarak, bir Dörtlü Kanal, normalde gerekecek 256 veri pinine karşılık 64 veri pini sunuyor. Bant genişliğini korumak için bu 64 pin, orijinal HBM4 arayüzünün dört katı veri hızında çalışıyor.
SPHBM4, G/Ç bant genişliğini önemli ölçüde artırırken, DRAM dizisinin kendisini daha hızlı hale getirmiyor. HBM4 bellek çekirdeği, temel mimarisini ve zamanlamalarını korurken, eklenen PHY bazı gecikmelere yol açabilir. Örneğin, DRAM çekirdeği harici arayüz frekansının yalnızca dörtte biri hızında çalışıyor, bu da 32 GT/s hızında çalışan bir SPHBM4 için 2 GHz anlamına geliyor.
Temel değişiklik, her 16-bit harici kanalı dört adet geleneksel 64-bit HBM4 kanalına eşleyen yüksek hızlı bir SerDes benzeri PHY'yi uygulayan yeni taban yongasıdır. Sonuç olarak SPHBM4, HBM4'ün daha yavaş, geniş paralel arayüzünde gerekmeyen dengeleme, hat eğitimi, BER gereksinimleri ve diğer yüksek hızlı sinyalizasyon özelliklerini getiriyor. Pin başına 46.0 GT/s'ye kadar aktarım hızlarını desteklemek için her Dörtlü Kanal, ileri hata düzeltme (FEC) ile korunan paylaşımlı bir komut/adres arayüzü kullanıyor. Veri aktarımları ise özel diferansiyel yazma (WCK) ve okuma (RCK) saatlerine, ayrıca ECC ve hata bildirim sinyallerine dayanıyor.
Kapasite açısından SPHBM4, 24 Gb veya 32 Gb yoğunluklara sahip 4, 8, 12 veya 16 DRAM yongası içeren yığınları kullanabiliyor. Böylece standardize edilmiş en büyük SPHBM4 yapılandırması, on altı adet 32 Gb DRAM yongasından oluşan 64 GB'lık bir bellek yığınıdır; bu da HBM4E tarafından desteklenen maksimum kapasiteyle aynıdır.
Sonunda Ucuz HBM Mümkün mü?
SPHBM4 standardı, 90 µm'nin üzerindeki yama aralıklarını ve 20 mm'ye kadar kanal mesafelerini destekleyerek, pahalı interposer'lardan kurtulmayı ve daha ucuz organik alt tabaka yönlendirmesini kullanmayı mümkün kılıyor. Ancak interposer ve gelişmiş paketleme teknolojilerinden kurtulmak SPHBM4'ü otomatik olarak ucuzlatmıyor. SPHBM4 hala büyük HBM4 DRAM yongaları, karmaşık bir taban yongası ve gelişmiş paket montajı gerektiriyor. Dahası, SPHBM4'ün dar arayüzü işlemcilerdeki silikon alanını önemli ölçüde daha az kullanıyor, bu da işlem gücünü veya bellek kapasitesini artırmak isteyen firmalar için cazip hale geliyor. Yine de bu, belirli uygulamalara hitap eden ve HBM4 ile doğrudan rekabet etmesi beklenmeyen niş bir yüksek performanslı bellek teknolojisi.
Maksimum performans açısından, HBM4 verileri 8 GT/s hızında aktarıyor ve bir HBM4 yığını 2 TB/s bant genişliği sunabiliyor. HBM4E, veri aktarım hızını 12 – 12.8 GT/s'ye çıkararak yığın başına tepe bant genişliğini 3 – 3.3 TB/s'ye yükseltiyor. Buna karşılık, 46 GT/s arayüzlü bir SPHBM4, 2.944 TB/s hıza ulaşabiliyor. Ancak ilk SPHBM4 sürümlerinin maksimum hıza ulaşması beklenmiyor. Bu nedenle, önümüzdeki yıllarda bant genişliği açısından HBM4, HBM4E ve C-HBM4E'nin performans liderliğini koruması muhtemel.
HBM4'ün gecikme süresi muhtemelen SPHBM4'e göre hala bir avantaja sahip olacak. HBM4, çok basit bir arayüz aracılığıyla ana işlemcisine neredeyse doğrudan bağlanıyor. SPHBM4 ise seri hale getirme/seriden çıkarma, hat eğitimi, FEC işleme ve diğer işlemleri gerçekleştiren çok daha karmaşık bir PHY içeriyor, bu da birkaç nanosaniye gecikme ekleyebilir. Bazı uygulamalar için bu büyük bir sorun olmayabilir, ancak çıkarım (inference) işlemleri düşük gecikme sürelerinden büyük ölçüde fayda sağlıyor.
Güç ve voltaj açısından, HBM4 ve SPHBM4 aynı DRAM çekirdek voltajını paylaşıyor çünkü SPHBM4 standart HBM4 DRAM yığınlarını yeniden kullanıyor. Ancak G/Ç farklılık gösteriyor: HBM4, arayüz voltajını bellek satıcılarına bırakıyor ve güç, hız ve sinyal bütünlüğü arasındaki dengeye bağlı olarak 0.7V, 0.75V, 0.8V veya 0.9V gibi seçeneklere izin veriyor. Buna karşılık, SPHBM4 harici G/Ç'yi 0.75V olarak standartlaştırıyor.
Ayrıca, HBM4 verileri enerji verimliliği yüksek, çok sayıda yavaş paralel bağlantıdan oluşan geniş bir arayüz üzerinden taşıyor. SPHBM4 ise aynı miktardaki veriyi dört kat daha hızlı çalışan, dörtte biri kadar tel üzerinden taşıyor. Yüksek hızlı veri aktarımı, geniş bir arayüz üzerinden 'yavaş' veri aktarımına göre daha az enerji verimli olma eğilimindedir. SPHBM4'ün geniş bir arayüzü dar bir arayüze dönüştüren oldukça karmaşık PHY'sini göz önünde bulundurmak, muhtemelen güç tüketen bir süreçtir. Bununla birlikte, 4 kat daha az sürücü ve alıcı, SPHBM4'ün güç tüketimini somut olarak azaltabilir. Bununla birlikte, bellek üreticilerinden veya işlemci geliştiricilerinden gelen uygulama detayları olmadan, hangi bellek türünün daha düşük güç tüketimine sahip olduğunu sonuçlandırmak imkansızdır.
Son olarak, SPHBM4, silikon interposer kullanmaktan kaynaklanan üretim zorluklarını, son derece sofistike bir taban yongası/PHY geliştirme mühendislik zorluğuyla takas ediyor. Böyle bir taban yongasının geliştirilmesi ve üretilmesi dökümhaneler için sorun olmamalıdır. Ancak bellek üreticilerinin SPHBM4'ü makul bir güç verimliliğiyle tasarlayıp üretebilip üretemeyeceği henüz görülmüş değil. Sonuçta, hem Micron hem de SK hynix, C-HBM4E ve HBM4E taban yongalarını üretmek için TSMC ile çalışırken, Samsung'un bellek bölümü Samsung Foundry tarafından üretilen taban yongalarını kullanıyor.
Çin Faktörü
SPHBM4'ün ilginç bir yönü, yapay zeka hızlandırıcıların Çinli geliştiricilerinin bu teknolojiden faydalanıp faydalanamayacağıdır. Teorik olarak, TSMC'nin çip üretim veya paketleme hizmetlerini kullanamayan Biren, Huawei, Moore Threads gibi şirketler, ABD'den bile daha fazla SPHBM4'ten yararlanabilir.
İlk olarak, daha küçük bir kıyı şeridi, daha fazla işlem gücünü bellek bant genişliği veya kapasitesinden ödün vermeden paketlemeye olanak tanıdığı için daha eski üretim node'ları kullanılarak yapılan çiplerden doğrudan fayda sağlıyor. İkinci olarak, Çinli OSAT'ler şu anda CoWoS benzeri teknolojiler sunmuyor, bu nedenle interposer'ı ortadan kaldırmak ve gelişmiş organik alt tabakalar kullanmak bir avantajdır.
Ancak SPHBM4 hala HBM4 DRAM yığınlarına ihtiyaç duyuyor ve bugün yalnızca Samsung, SK hynix ve Micron bunları üretebiliyor, Çin merkezli CXMT ise HBM2E'yi zar zor üretebiliyor. Dahası, 46 GT/s PHY oluşturmak çok zor ve muhtemelen Çinli entegre devre geliştiricileri için zorlu olacaktır.
Bununla birlikte, SPHBM4 paketlerini organik alt tabakalara monte etmek, muhtemelen Çin'in mevcut üretim tabanıyla daha uyumludur, bu nedenle yerel bellek üreticileri nihayetinde rekabetçi HBM4 sınıfı bellek geliştirirse, SPHBM4 ülkenin kalan altyapı boşluklarından birini önemli ölçüde azaltabilir.
Özet
JEDEC'in SPHBM4 standardı, daha düşük entegrasyon maliyeti sayesinde HBM4'ten daha geniş bir uygulama yelpazesine hitap etme potansiyeline sahip umut verici bir standart olarak görünüyor. Yine de, HBM4, HBM4E ve C-HBM4E performans liderliğini koruyacak ve bu da onları önümüzdeki yıllarda amiral gemisi yapay zeka hızlandırıcıları için tercih edilen seçenek haline getirecektir.
