Yapay zeka uygulamalarının artan bellek ihtiyacı, mevcut sistemlerin kapasitesini zorlayabiliyor. Mevcut sunuculara bellek eklemek ise her zaman mümkün veya pratik olmuyor. Bu soruna çözüm olarak, Nvidia'nın desteklediği Enfabrica adlı bir startup, Emfasys adını verdiği yeni sistemiyle sunuculara Ethernet bağlantısı üzerinden terabaytlarca DDR5 bellek ekleme imkanı sunuyor. Ethernet üzerinden sunulan bu bellek havuzu, özellikle büyük ölçekli yapay zeka çıkarım iş yükleri için tasarlanmış olup, seçili müşterilerle test edilmeye devam ediyor.
Enfabrica'nın Emfasys sistemi, şirketin 3.2 Tb/s (400 GB/s) bant genişliğine sahip ACF-S SuperNIC tabanlı, rafa monte edilebilir bir yapıya sahip. Bu sistem, CXL teknolojisiyle 18 TB'a kadar DDR5 belleği destekliyor. Bellek havuzuna, standart 400G veya 800G Ethernet portları üzerinden, Ethernet üzerinde Uzak Doğrudan Bellek Erişimi (RDMA) kullanılarak 4'lü ve 8'li GPU sunucuları erişebiliyor. Bu sayede Emfasys sistemini neredeyse tüm yapay zeka sunucularına sorunsuz bir şekilde entegre etmek mümkün oluyor.
GPU sunucuları ve Emfasys bellek havuzu arasındaki veri aktarımı, RDMA teknolojisi ile gerçekleşiyor. Bu teknoloji, CXL.mem protokolünü kullanarak CPU müdahalesi olmadan sıfır kopya ve mikrosaniye düzeyinde düşük gecikmeli bellek erişimi sağlıyor. Emfasys bellek havuzuna erişim için sunucuların, Enfabrica tarafından sağlanan veya etkinleştirilen bellek hiyerarşisi yazılımına ihtiyacı var. Bu yazılım, mevcut donanım ve işletim sistemleriyle uyumlu çalışarak, yaygın olarak kullanılan RDMA arayüzlerinden faydalanıyor. Bu da bellek havuzunun kurulumunu oldukça kolaylaştırıyor ve büyük mimari değişiklikler gerektirmiyor.
Emfasys, giderek uzayan komutlar, büyük bağlam pencereleri veya birden fazla ajan kullanan modern yapay zeka senaryolarının artan bellek gereksinimlerini karşılamak üzere geliştirildi. Bu tür iş yükleri, GPU'lara bağlı HBM bellekler üzerinde ciddi bir baskı oluşturuyor. GPU'ya bağlı HBM bellekler hem sınırlı hem de pahalıdır. Harici bir bellek havuzu kullanarak, veri merkezi operatörleri tek bir yapay zeka sunucusunun belleğini esnek bir şekilde genişletebiliyor. Bu, yukarıda bahsedilen senaryolar için büyük bir avantaj sağlıyor.
Emfasys bellek havuzunu kullanan yapay zeka sunucusu sahipleri, hesaplama kaynaklarının daha verimli kullanılması, pahalı GPU belleğinin israf edilmemesi ve genel altyapı maliyetlerinin azaltılması sayesinde verimliliği artırıyor. Enfabrica'ya göre bu kurulum, yüksek dönüş ve uzun bağlam senaryolarında yapay zeka tarafından üretilen token başına maliyeti %50'ye kadar düşürebiliyor. Token üretme görevleri sunucular arasında daha dengeli bir şekilde dağıtılabiliyor, bu da darboğazları ortadan kaldırıyor.
Enfabrica CEO'su Rochan Sankar, “Yapay zeka çıkarımında bellek bant genişliği ölçeklenme ve bellek marjı yığma sorunları var” dedi. “Çıkarım, konuşma bazlı olmaktan çok daha fazla aracılı hale geldikçe, daha unutkan olmaktan çok daha fazla hatırlayan hale geldikçe, bellek erişimini ölçeklendirmenin mevcut yolları sürdürülemez hale gelecek. Emfasys'i, esnek, raf ölçekli bir yapay zeka bellek ağı oluşturmak ve bu zorlukları daha önce hiç yapılmamış bir şekilde çözmek için inşa ettik. Müşterilerimiz, Üretken Yapay Zeka iş yükleri için çok daha ölçeklenebilir bir bellek taşıma mimarisi oluşturmak ve token ekonomisini daha da iyileştirmek için bizimle ortaklık kurmaktan heyecan duyuyorlar.”
Emfasys yapay zeka bellek ağı sistemi ve 3.2 Tb/s ACF SuperNIC çipi şu anda seçili müşteriler tarafından değerlendiriliyor ve test ediliyor. Genel kullanıma ne zaman sunulacağına dair ise henüz bir bilgi bulunmuyor.
Enfabrica, Ultra Ethernet Consortium (UEC) üyesi olarak aktif rol alıyor ve Ultra Accelerator Link (UALink) Consortium'a katkıda bulunuyor. Bu durum, şirketin gelecek hedefleri hakkında önemli ipuçları veriyor.
