Yapay zeka alanında öncü konumda bulunan NVIDIA'nın çiplerinin, özel tasarlanmış yapay zeka çiplerine kıyasla genel sahip olma maliyeti (TCO) açısından üstün olduğu düşünülse de, analistler NVIDIA'nın bu alandaki konumunun sarsılabileceği görüşünde. NVIDIA CEO'su Jensen Huang, firmanın yapay zeka çip fiyatlandırmasını defalarca kez rakiplerine göre daha iyi performans verimliliği sunduğunu belirterek savunmuştu. Ancak gelen bir rapora göre, yapay zeka mühendisleri çip seçimlerinde sadece performans değil, aynı zamanda soğutma maliyetleri gibi diğer metrikleri de göz önünde bulunduruyor.
Güç Tüketimi ve Soğutma, NVIDIA'nın Yapay Zeka Çip Maliyetleri İçin Önemli
NVIDIA'nın yapay zeka çiplerinin maliyetine dair yapılan değerlendirmeler, başka bir analiz firmasının benzer bir konuyu ele almasının ardından geldi. Yapılan bir incelemede, NVIDIA'nın Blackwell GPU'ları ile veri merkezi kurmanın özel yapay zeka çiplerine kıyasla iki kat daha maliyetli olmasına rağmen, Blackwell GPU'larının watt başına performansı sekiz kata kadar daha yüksek olduğu belirtilmişti.
Ancak yeni raporda, yapay zeka mühendislerinin yapay zeka çiplerini değerlendirirken watt başına performans dışındaki faktörlere de odaklandığı vurgulanıyor. Rapor, yapay zeka mühendisleri ve büyük veri merkezlerini işleten şirketlerdeki uzmanlarla yapılan görüşmelere dayanarak, kullanıcıların çip seçiminde farklı kriterler aradığını ortaya koyuyor.
Maliyetleri İyileştirme İsteği, Mühendisleri Alternatiflere Yöneltiyor
Rapora göre, yapay zekanın kullanımındaki yönelimin "eğitim odaklı rejimden" "çıkarım odaklı rejime" doğru kayması, "token başına maliyet, yatırımın geri dönüşü (ROI) ve TCO" üzerine odaklanmayı artırıyor. Bu durum, büyük veri merkezi operatörlerinin kendi tasarladıkları özel çipler (ASIC'ler) ve alternatif hızlandırıcılara olan ilgisini hızlandırıyor. Bu iddia, yapay zeka hesaplama altyapısı sağlayıcısı bir firmanın uzmanının daha önceki açıklamalarıyla da paralellik gösteriyor. Uzman, GPU'ların üretilen milyonlarca token başına maliyet gibi metriklerle değerlendirildiğini belirtmişti.
Finansal firma ayrıca, çıkarım ihtiyacındaki artışın "satın alma kriterlerini maksimum çıktı/bant genişliği yerine token başına maliyet, güç tüketimi, soğutma, kullanım oranı ve TCO'ya doğru kaydırdığını" belirtiyor. Rapora göre, NVIDIA'nın "35 kat daha fazla performans" iddialarının ortalama bir yapay zeka mühendisi tarafından benimsenmediği ve %70 brüt kar marjlarının aşırı bulunduğu yönünde bir kanı var. Sonuç olarak, ortalama bir mühendis, maliyetleri iyileştirmek için özel tasarlanmış çipler veya "yeterince iyi" alternatifleri kullanmaya istekli.
Uzmanlar, çıkarım talebinin toplam kurumsal iş yükü kullanım senaryolarının %95'ine kadarını oluşturduğunu belirtiyor. Ayrıca, daha yüksek verimlilikleri nedeniyle bazı özel çiplerin de tercih edildiği ifade ediliyor.
