AMD'nin 3D V-Cache teknolojisine sahip işlemcileri, yapay zeka (AI) benchmark testlerinde öncülü olmayan modellere kıyasla devasa performans artışları sunarak, özellikle RAG (Retrieval-Augmented Generation) modelleri için neden en uygun seçenek olduklarını ortaya koyuyor.
AMD 3D V-Cache ve Rakipleri: Yapay Zekada Dev Bir Sıçrama
Yapay zeka alanında günümüzde iki temel yaklaşım öne çıkıyor: Bunlardan ilki, popülerliğini hızla artıran Büyük Dil Modelleri (LLM). LLM'ler, geniş veri setleri üzerinde önceden eğitilmiş ve çeşitli parametre boyutlarına sahip yapay zeka modelleridir. Ancak bu modellerin, eğitim verileri dışında kalan konular hakkında yanıt üretme konusunda sınırlılıkları olabiliyor.
İşte bu noktada RAG (Retrieval-Augmented Generation) devreye giriyor. RAG yapay zeka modelleri, harici sorgulara yanıt bulmak için harici bir veritabanından yararlanır. Bu yöntem, daha detaylı yanıtlar sunarken, LLM'lere kıyasla biraz daha yavaş kalabiliyor.
RAG yapay zeka sistemleri, büyük ölçüde vektör veritabanı aramalarına dayanır. GPU'lar, yüksek derecede paralellikleri nedeniyle yapay zeka işlemleri için birincil bileşen olsa da, vektör aramalarının önemli bir kısmı CPU'lar tarafından gerçekleştirilir. Talep arttıkça, CPU'ların yetersiz kalma olasılığı artar ve bu da sistemdeki yapay zeka darboğazlarına yol açar.
Agentik yapay zeka iş yüklerinin ivme kazanmasıyla birlikte, CPU işlemcilerinin GPU işlem gücü kadar önem kazandığını görmeye devam edeceğiz. İş akışları daha çok arama odaklı hale geldikçe, gecikme darboğazlarını gidermek için daha iyi CPU'lara ihtiyaç duyulacak.
Bu tür senaryolarda, daha yüksek önbellek yapılandırmalarına sahip işlemciler özellikle faydalı oluyor. HNSW (Hierarchical Navigable Small World) arama algoritması, GPU'nun LLM çıkarımı için kullanıldığı durumlarda CPU'ya bağımlı olan bir örnektir. CPU'lardaki daha büyük önbellek, HNSW'nin grafikleri alması gereken süreyi azaltmak için kullanılabilir. Bu da yapay zeka performansında iyileşmeler sağlar.
Bu teorinin doğruluğunu test etmek amacıyla yapılan testlerde, AMD'nin en yeni Ryzen 9000X3D serisi de dahil olmak üzere çeşitli işlemciler kullanılarak X3D RAG Benchmark'ı çalıştırıldı. Sonuçlar ilk bakışta bile oldukça netti.
100K Batch Search testinde, AMD Ryzen 3D V-Cache işlemcileri, 3D V-Cache'e sahip olmayan muadillerine göre %88'e varan oranda daha hızlıydı. 200K Batch Search testinde ise Ryzen 7 9850X3D, 8 çekirdekli Ryzen 7 9700X'e göre %50'den fazla bir performans artışı sundu. Hatta 8 çekirdekli 3D V-Cache işlemci, 16 çekirdekli Ryzen 9 9950X'ten de çok daha hızlıydı.
100K Index Build testinde işlem süreleri %50, 200K testlerinde ise %39 oranında kısaldı. Ayrıca 3D V-Cache işlemcilerde verimlilik de daha yüksekti. Son olarak, Eş Zamanlı RAG Throughput testlerinde, 8 Çekirdekli Ryzen 3D V-Cache işlemciler iyi performans gösterdi. Ancak TTFT Throughput testinde, bu görevin CPU yerine büyük ölçüde GPU'ya dayanması nedeniyle tüm işlemciler arasındaki farklar daha az belirgindi.
Genel olarak bu sonuçlar, daha yüksek önbellek yapılandırmalarına sahip işlemciler, özellikle de sadece güçlü oyun performansı sunmakla kalmayıp aynı zamanda güçlü bir yapay zeka RAG işlemcisi olarak da kullanılabilecek AMD'nin 3D V-Cache serisi için oldukça dikkat çekici. Bu işlemcilerin güçlü Vektör Arama, İndeks Oluşturma ve Eş Zamanlı İşleme yetenekleri öne çıkan noktalar arasında.
AMD, birkaç gün içinde piyasaya süreceği ve çift 3D V-Cache çekirdeğine sahip olacak Ryzen 9 9950X3D2 işlemcisiyle de dikkatleri üzerine çekmeye hazırlanıyor. Bu işlemcinin, şimdiye kadarki en yüksek önbellek kapasitesine sahip Ryzen masaüstü işlemcisi olmasıyla birlikte, çok güçlü sonuçlar elde etmesi bekleniyor.
