Yapay zeka endüstrisi, yüksek bant genişliğine sahip bellekler (HBM) içeren güçlü GPU'larla hızla gelişiyor. Ancak bu yüksek performanslı GPU'lar, yapay zeka eğitimi ve çıkarım sistemlerinde yeni bir darboğaz yaratıyor: Depolama performansı.
Sektördeki bir yöneticiye göre Nvidia, bu sorunu aşmak için iş ortaklarıyla birlikte, özellikle küçük boyutlu veri bloklarında saniyede 100 milyon giriş/çıkış işlemi (IOPS) yapabilen SSD'ler geliştirmek için çalışıyor.
Bu rakamın ne kadar iddialı olduğunu anlamak için mevcut durumu karşılaştırmak gerekiyor. Günümüzün en hızlı PCIe 5.0 x4 SSD'leri bile genellikle 4K veya 512B rastgele okuma işlemlerinde 2 ila 3 milyon IOPS civarında performans sunuyor. Yapay zeka modelleri genellikle küçük ve rastgele veri çekme işlemleri yaptığından, 512B blok performansı kritik öneme sahip. Nvidia'nın hedeflediği 100 milyon IOPS, mevcut en iyi performansın yaklaşık 33 katına denk geliyor.
Bu devasa sıçrama, SSD kontrolcülerinin ve mevcut NAND bellek teknolojisinin sınırları düşünüldüğünde oldukça zorlayıcı. Hatta bazı firmalar şimdiden 'yapay zeka SSD'leri' üzerinde çalışıyor ve yaklaşık 10 milyon IOPS gibi rakamları hedefliyor. Ancak Nvidia'nın istediği seviyeye ulaşmak, mevcut teknolojilerle tek bir sürücüde neredeyse imkansız görünüyor.
Uzmanlar, 100 milyon IOPS performansına, makul maliyet ve güç tüketimiyle ulaşmanın, mevcut NAND teknolojisiyle gerçekleşemeyeceğini düşünüyor. Bu hedefe ulaşmak için temelden yeni bir bellek türüne ihtiyaç duyulabileceği belirtiliyor.
Geçmişte Intel'in geliştirdiği ancak sonlandırılan Optane gibi teknolojiler bu tür ihtiyaçlar için ideal görünüyordu. Şu anda farklı firmalar kendi yeni bellek teknolojilerini geliştirmeye çalışıyor, ancak sektörün gerçekten çığır açacak, köklü bir yeniliğe ihtiyacı olduğu vurgulanıyor. Aksi takdirde 100 milyon IOPS hedefine ulaşmak ve bunu ekonomik olarak yapılabilir kılmak çok güç olacak.
Micron ve SanDisk gibi birçok şirket yeni nesil kalıcı bellek türleri üzerinde çalışsa da, bu teknolojilerin ne zaman ticari olarak kullanıma hazır olacağı belirsizliğini koruyor.
