Yapay zeka (YZ) modellerinin giderek büyümesi ve bellek ihtiyacının artması, sektörde yeni nesil çözümlerin kapısını aralıyor. Bu alanda öne çıkan d-Matrix, geliştirdiği "Raptor" 3D DRAM ile yapay zeka veri darboğazını aşmayı hedefliyor. Şirket, bu yeni teknolojiyle, yüksek bant genişliğini çok daha düşük enerji tüketimiyle elde etmeyi başardıklarını duyurdu.
3D DRAM Çağı Başlıyor: d-Matrix'ten "Raptor" ile Hafıza Duvarını Yıkma Girişimi
Günümüz yapay zeka uygulamaları için iki temel bellek teknolojisi ön plana çıkıyor: SRAM ve HBM. SRAM oldukça hızlı olmasına rağmen, yüksek maliyeti, sınırlı kapasitesi ve artan güç tüketimiyle ölçeklendirilmesi zor bir çözüm. HBM ise büyük modeller için gereken kapasiteyi sunsa da, bant genişliğini artırmak güç, üretim süreci ve paketleme gibi çeşitli limitlere takılıyor. Mevcut en gelişmiş HBM çözümleri yaklaşık 20 TB/s bant genişliği sunarken, SRAM tabanlı çözümler 300 TB/s seviyelerine ulaşabiliyor. Ancak 100 TB/s gibi bir bant genişliğine sahip HBM çözümü, sadece bellek için yaklaşık 1.92KW güç tüketimi gerektiriyor.
İşte tam bu noktada d-Matrix, 3D DRAM teknolojisinin geleceğin çözümü olduğunu vurguluyor. Şirket, bellek yongalarını işlemcilerin altına yerleştirerek veya işlemcileri bellek yongalarının üzerine konumlandırarak iki farklı 3D DRAM mimarisi öneriyor. İlk yaklaşım, ısının termal olarak hassas DRAM yongalarından kaçmasıyla ilgili termal zorluklar barındırıyor. İkinci yöntem ise, işlemci yongasının altına yerleştirilen DRAM'lere güç dağıtımı konusunda zorluklar çıkarıyor.
3D DRAM Neden Önemli?
d-Matrix'e göre 3D DRAM, istiflenmiş işlem gücüyle bellek üzerinde çalışarak SRAM benzeri bant genişliği ve güç verimliliği sunuyor. HBM'ye kıyasla daha düşük kapasiteye sahip olsa da, daha az yer kaplıyor ve SRAM'den daha yüksek kapasite sunuyor. Dört katmana kadar olan 3D DRAM çözümleri, daha yüksek verimlilik, önemli ölçüde artırılmış bant genişliği ve HBM'nin güç tüketiminin onda biri seviyesinde çalışma olanağı sağlıyor.
Raptor 3D DRAM Teknik Özellikleri
"Raptor 3D DRAM" adını taşıyan bu çözüm, TSMC'nin 4nm (N4) işlem teknolojisiyle üretilen işlemci yongasını, alt katmanda yer alan 3D DRAM ile birleştiriyor. 36 mikron yüz yüze (Face-to-Face) istifleme teknolojisiyle üretilen Raptor, düşük maliyetli, yüksek hacimli ve yüksek verimli bir üretim süreci sunuyor. Her bir 3D DRAM kartı, 32 GB kapasite ile 100 TB/s'nin üzerinde bant genişliği ve sadece 0.37 pJ/bit enerji tüketimi vaat ediyor. Karşılaştırma yapmak gerekirse, 192 GB HBM4 DRAM çözümü 18 TB/s bant genişliği ve 2-3 pJ/bit enerji tüketimi sunuyor. Bu, Raptor'un HBM4'ten 5.6 kat daha yüksek bant genişliği, 5-8 kat daha düşük enerji tüketimi ve 7 kat daha yoğun G/Ç (I/O) sunduğu anlamına geliyor.
d-Matrix, 3D DRAM entegrasyonundaki bazı temel zorlukların üstesinden gelmiş durumda:
- G/Ç Gücü: Dahili bir burst yapısının olmaması ve PHY DBI'nin kullanılmaması enerji tüketimini azaltıyor.
- Banka-Kanal Eşleştirmesi: 840 bankanın, 256x4 gibi standartlara uymayan bir yapıda olması, verimliliği optimize etmek için özel çözümler gerektiriyor.
- Kanal Simetrisini Bozmadan Yedeklilik: Veri bütünlüğünü sağlarken kanal simetrisini korumak kritik önem taşıyor.
- Termal Yönetim: 105°C gibi yüksek jonksiyon sıcaklıklarında çalışabilmek için 8 kat daha hızlı yenileme (refresh) işlemi gerekiyor.
Enerji tüketimini daha da azaltmak için d-Matrix, bellek bankalarını doğrudan besleyen işlem birimlerini (tensor engine) hassas bir şekilde eşleştiriyor. Her çiplette bulunan 256 adet işlem birimi, DRAM'den gelen 32 byte'lık veri akışını, beklenen 128 byte'lık veri boyutuyla uyumlu hale getirmek için özel bir yaklaşımla yönetiyor. Bu, gereksiz veri transferini ve bant genişliği israfını önlüyor.
Ayrıca, işlemci yongasının üstte olması, soğutma plakasının daha kolay uygulanmasını ve ısının etkin bir şekilde uzaklaştırılmasını sağlıyor. 3D DRAM'in 105°C çalışma sıcaklığına uyum sağlaması için, standart DRAM'lere kıyasla 8 kat daha hızlı yenileme işlemi gerçekleştiriliyor. Sıcaklık arttıkça oluşabilecek bellek sızıntısını önlemek için bu yenileme sıklığı kritik önem taşıyor.
Üretim verimliliği açısından, her biri çok küçük boyutlu (1366 satır, 5.33 MB) mikro bankalar kullanılarak bellek bant genişliği kaybı %1.37 ile sınırlı tutuluyor. Hata düzeltme kodu (Reed Solomon T=2) ise, olası sembol hatalarını etkin bir şekilde düzelterek veri bütünlüğünü güvence altına alıyor.
Sonuç olarak d-Matrix, Raptor 3D DRAM'in, HBM4 tabanlı NVIDIA Rubin R200 platformuna kıyasla %83-85 etkili bant genişliği kullanımıyla 23.4 kat daha yüksek bant genişliği (GB/s/mm²) ve 13.5 kat daha iyi güç verimliliği (mW/GB/s) sunduğunu belirtiyor.
3D DRAM teknolojisi, özellikle Raptor gibi sistemlerle, SRAM'e yakın bant genişliğini ve enerji verimliliğini, HBM'nin bant genişliği, güç ve arayüz limitlerinden kaçınarak sunan güçlü bir orta yol olarak öne çıkıyor. Mantık yongasının özel DRAM üzerine kısa dikey ara bağlantılarla istiflenmesi, HBM'ye göre çok daha düşük enerji tüketimiyle 100 TB/s bant genişliğine ulaşılmasını sağlıyor. Bu da teknolojiyi, modern büyük dil modellerinin (LLM) ve ajan tabanlı iş yüklerinin bellek bant genişliği bağımlı çözme aşamaları için ideal hale getiriyor.
Özetle, 3D DRAM, kapasite, bant genişliği ve güç tüketimi arasındaki dengeyi kurarak daha hızlı ve daha verimli çıkarım hızlandırıcılarına giden pratik bir yol sunuyor. Şimdi gözler, diğer DRAM üreticilerinin bu alanda ne gibi yeniliklerle karşımıza çıkacağında.
