AMD, yapay zeka (YZ) alanındaki rekabete güçlü bir giriş yaparak yeni Instinct MI350P PCIe hızlandırıcı kartını duyurdu. Mevcut sunuculara kolayca entegre edilebilen bu yeni kart, özellikle kurumsal düzeyde YZ uygulamaları için önemli bir çözüm sunuyor.
MI350P, 128 Hesaplama Birimi (CU) ve 144 GB HBM3E belleğe sahip. Çift slotlu bir tasarıma sahip olan kart, 600W güç tüketimi ile çalışıyor. Ancak daha fazla uyumluluk için 450W'a kadar düşürülebilen güç hedefiyle, farklı termal ve güç kısıtlamalarına sahip sunucularda da kullanılabiliyor.
AMD'nin daha üst düzey MI350X ve MI355X yapay zeka GPU'larının sunduğu özelliklerin yarısı ile gelen MI350P, şirketin CDNA4 mimarisine dayanıyor ve TSMC'nin 3nm ile 6nm FinFET işlem teknolojileriyle üretiliyor. Kart, 8.192 çekirdek, 128 CU, 512 Matris Çekirdeği ve 2.2 GHz maksimum saat hızına sahip. 144 GB HBM3E belleği ve 4 TB/s bant genişliği ile birlikte 128 MB son seviye önbellek (L3 cache) sunuyor.
MI350P, MI350X ve MI355X modellerinde olduğu gibi, büyük dil modellerini (LLM) hızlandırmak için düşük hassasiyetli MXFP6 ve MXFP4 formatlarını doğrudan destekliyor. Sekiz adede kadar MI350P kartı tek bir sistemde birleştirilebiliyor. Bu da veri merkezlerinin ihtiyaç duydukları kart sayısına göre performanslarını ölçeklendirmelerine olanak tanıyor. Kart, özellikle çıkarım (inference) ve RAG (Retrieval-Augmented Generation) süreçlerini içeren küçük, orta ve büyük ölçekli YZ iş yükleri için tasarlanmış durumda. AMD, MXFP4 formatında yaklaşık 2.299 TFLOPs ve 4.600 TFLOPs zirve performansı ile MI350P'nin en hızlı kurumsal PCIe kartı olduğunu iddia ediyor.
MI350P'nin piyasaya sürülmesiyle AMD, Nvidia'nın en hızlı PCIe YZ hızlandırıcısı olan H200 NVL'ye karşı güçlü bir rakip kazanmış oluyor. Daha yeni bir mimariye sahip olan MI350P, teorik hesaplama performansı açısından H200 NVL'yi geride bırakıyor: %20 daha iyi FP64, %43 daha iyi FP16 ve %39 daha iyi FP8 performansı sunuyor.
Nvidia henüz en yeni B200 Blackwell GPU'larının HBM belleğe sahip bir PCIe sürümünü duyurmadığından, AMD şimdilik PCIe form faktöründe en güncel YZ hızlandırıcısına sahip olacak gibi görünüyor. Nvidia'nın CUDA ekosistemindeki hakimiyeti göz önüne alındığında AMD'nin yeni kartının ne kadar yaygın bir şekilde benimsenip benimsenmeyeceği henüz belirsizliğini koruyor. Ancak AMD, rakip ROCm yazılım yığınını geliştirmek için çalışmalarını sürdürüyor.
