Bellek teknolojileri alanında faaliyet gösteren bir startup olan d-Matrix, geliştirdiği yeni 3D yığınlanmış bellek teknolojisiyle yapay zeka çıkarımı (AI inference) alanında mevcut yüksek bant genişliğine sahip bellek (HBM) çözümlerini tahtından indirmeyi hedefliyor. Firma, 3DIMC adını verdiği bu yeni teknolojinin, HBM'e kıyasla 10 kat daha hızlı ve 10 kat daha verimli çalışabileceğini iddia ediyor.
Yüksek bant genişliğine sahip bellek (HBM), yapay zeka ve yüksek performanslı hesaplama alanlarında vazgeçilmez bir bileşen haline gelmiş durumda. HBM, bellek modüllerini üst üste yığarak bellek yongalarını daha verimli bir şekilde bağlamayı ve daha yüksek bellek performansı elde etmeyi sağlıyor. Ancak, HBM'in popülerliği ve kullanımı artsa da, her hesaplama görevi için en iyi çözüm olmayabilir. Yapay zeka eğitimi için kritik öneme sahip olsa da, yapay zeka çıkarımı görevlerinde HBM'in yetersiz kalabileceği düşünülüyor.
Bu durumu aşmak için d-Matrix, laboratuvar ortamında ilk 3DIMC silikonu olan d-Matrix Pavehawk'ı devreye aldığını duyurdu. Dijital bellek içi işlem (DIMC) donanımları, mevcut durumda LPDDR5 bellek yongalarına DIMC yongacıklarının eklenmesi ve bir ara katman üzerinden bağlanması şeklinde görünüyor. Bu yapı, DIMC donanımının hesaplamaları bellek içerisinde gerçekleştirmesine olanak tanıyor. DIMC mantık yongaları, özellikle dönüştürücü tabanlı yapay zeka modellerinin operasyonlarında sıkça kullanılan matris-vektör çarpımı hesaplamaları için optimize edilmiş durumda.
d-Matrix'in kurucusu ve CEO'su Sid Sheth, şirketin yapay zeka çıkarımının geleceğinin sadece işlem gücünü değil, belleğin kendisini de yeniden düşünmekten geçtiğine inandığını belirtti. Sheth'e göre, yapay zeka çıkarımı, bellekten ve yalnızca hesaplama hızından (FLOPs) kaynaklanan darboğazlarla karşılaşıyor. Modeller hızla büyüyor ve geleneksel HBM bellek sistemleri giderek daha maliyetli, güç tüketen ve bant genişliği sınırlı hale geliyor. 3DIMC teknolojisinin, belleği üç boyutta yığarak ve işlemle daha sıkı bir entegrasyon sağlayarak gecikmeyi dramatik şekilde azalttığını, bant genişliğini iyileştirdiğini ve yeni verimlilik kazançları sunduğunu vurguladı.
Pavehawk laboratuvarlarında çalışırken, şirket şimdiden bir sonraki nesil olan Raptor'a odaklanmış durumda. Şirket blogu ve CEO'nun açıklamalarına göre, yongacık modeline dayanan bu yeni nesil ürünün, yapay zeka çıkarım görevlerinde HBM'i 10 kat geride bırakması ve %90 daha az güç tüketmesi bekleniyor.
d-Matrix'in DIMC projesi, son dönemdeki teknoloji girişimleri ve teorisyenlerin izlediği bir eğilimi yansıtıyor: Belirli hesaplama görevleri için (örneğin yapay zeka eğitimi ve çıkarımı gibi) o görevi verimli bir şekilde yerine getirecek şekilde tasarlanmış özel donanımlar kullanma düşüncesi. d-Matrix, günümüzde bazı büyük ölçekli veri merkezlerinin yapay zeka iş yüklerinin %50'sini oluşturan yapay zeka çıkarımının, eğitimden yeterince farklı bir görev olduğunu ve bu nedenle ona özel bir bellek türünü hak ettiğini savunuyor.
HBM'e bir alternatif bulmak, finansal açıdan da cazip bir durum. HBM, yalnızca SK hynix, Samsung ve Micron gibi az sayıda küresel şirket tarafından üretiliyor ve fiyatları da oldukça yüksek. SK hynix'in tahminlerine göre, HBM pazarının 2030 yılına kadar her yıl %30 büyümesi bekleniyor ve talebe paralel olarak fiyatlar da artış gösterecek. Bu devasa pazarın potansiyel bir alternatifi, maliyet odaklı yapay zeka alıcıları için çekici olabilir. Ancak, yalnızca belirli iş akışları ve hesaplamalar için üretilmiş bir bellek türü, spekülasyonlara karşı temkinli olabilecek potansiyel müşteriler için biraz fazla niş görünebilir.
