Yapay zeka modellerinin giderek büyümesiyle birlikte, bu modelleri çalıştırmak için gereken donanım da önem kazanıyor. NVIDIA'nın yeni RTX PRO 6000 Blackwell ekran kartı, bu alanda dikkat çekici bir başarıya imza atarak, tek başına dört adet RTX 5090'ı geride bırakırken güç tüketiminde de büyük bir avantaj sağlıyor.
Tek RTX PRO 6000 Blackwell, Dört RTX 5090'ın Güç Tüketiminin Dörtte Birini Kullanarak 230 Milyar Parametreli Yapay Zeka Modelini Çalıştırıyor
Son dönemde yapılan testler, büyük yapay zeka modellerini ev ortamında çalıştırmanın mümkün olup olmadığını mercek altına aldı. Bu testlerde, 230 milyar parametreli bir yapay zeka modeli olan MiniMax M2.7 kullanıldı. Dört farklı NVIDIA GPU konfigürasyonuyla yapılan değerlendirmelerde, 32 bin bağlam boyutu ve 4096 maksimum token uzunluğu dikkate alındı.
Yapılan testlerde, 96 GB VRAM'e sahip RTX PRO 6000 GPU'ya sığabilen en büyük kuantizasyon yöntemi (IQ3_XXS) tercih edildi. Bu yöntem, daha düşük VRAM'e sahip donanımları da desteklerken, aynı zamanda en iyi performansı sunuyor. Test sonuçları şu şekilde:
- 4x RTX 4090 (96GB): 71.52 token/saniye, İlk Token Üretme Süresi (TTFT) 1045ms
- 4x RTX 5090 (128GB): 120.54 token/saniye, TTFT 725ms
- 1x RTX PRO 6000 (96GB): 118.74 token/saniye, TTFT 765ms
- DGX Spark (128GB): 24.41 token/saniye, TTFT 741ms
Token üretme hızı açısından bakıldığında, tek bir NVIDIA RTX PRO 6000 Blackwell GPU, saniyede 118.74 token üreterek etkileyici bir performans sergiledi. Karşılaştırma yapmak gerekirse, toplam 128 GB VRAM'e sahip dört adet RTX 5090 GPU, saniyede 120.54 token üreterek bu hıza oldukça yaklaştı. Eski nesil dört adet RTX 4090 ise saniyede 71.52 token üretebildi. DGX Spark Mini AI PC ise 128 GB belleğe sahip olmasına rağmen saniyede 24.41 token üretebildi.
Dört RTX 5090, tek bir RTX PRO 6000 Blackwell ile benzer token üretme hızına ulaşsa da, hikayenin sadece bir kısmını görüyoruz. Performansın yanı sıra güç tüketimi ve fiyat da önemli faktörler.
Güç tüketimi söz konusu olduğunda ise büyük bir fark ortaya çıkıyor. Hem dörtlü RTX 4090 hem de dörtlü RTX 5090 konfigürasyonları sırasıyla 1800W ve 2300W güç tüketirken, tek bir RTX PRO 6000 Blackwell sadece 600W güç tüketiyor.
- 4x4090 → 1.800W (450W x 4)
- 4x5090 → 2.300W (575W x 4)
- RTX PRO 6000 → 600W
- DGX Spark → 240W (tüm sistem)
Bu, dört adet RTX 5090'ın güç tüketiminin dörtte biri ve dört adet RTX 4090'ın güç tüketiminin ise üçte biri anlamına geliyor. DGX Spark, toplamda 240W sistem gücü tüketerek, daha düşük güç tüketimi ve tam sistem paketini göz önüne alındığında oldukça yeterli bir makine olarak öne çıkıyor.
Fiyat konusuna gelince, tek bir RTX PRO 6000 Blackwell yaklaşık 9.500 Dolar civarında satışa sunulurken, tek bir RTX 5090 ise yaklaşık 3.500 Dolar seviyesinde. Bu da dört adet RTX 5090'ın toplam maliyetini 14.000 Dolar'a çıkarıyor. DGX Spark ise yapılan fiyat artışının ardından 4.699 Dolar'a satılıyor.
- Ortalama RTX 4090 Perakende Fiyatı - 3.000 Dolar (GPU başına)
- Ortalama RTX 5090 Perakende Fiyatı - 3.500 Dolar (GPU başına)
- Ortalama RTX PRO 6000 Perakende Fiyatı - 9.500 Dolar (GPU başına)
- Ortalama DGX Spark AI PC Perakende Fiyatı - 4.699 Dolar
Yapay zeka modelleri birden fazla GPU'dan faydalanarak en yüksek bellek kapasitelerini kullanabilse de, belirli konfigürasyonlarda ek yükler oluşabiliyor. Tek bir RTX PRO 6000 Blackwell 96 GB, bu ek yükleri ortadan kaldırarak daha iyi değer ve daha yüksek verimlilikle daha üstün performans kabiliyetleri sunuyor.
