Yapay zeka (YZ) bilgi işlem kapasitesi artmaya devam ederken, bulut bilişim altyapı sağlayıcısı Nebius'tan bir uzman, sektörün mevcut durumunu değerlendirdi. NVIDIA'nın en yeni YZ GPU'ları performans açısından sektörde lider konumda olsa da, uzman, alternatiflerin giderek daha popüler hale geldiğine inanıyor. Bu durumun en büyük nedenlerinden biri ise sektörün maliyet hesaplama metriklerini GPU başına saatlikten, milyonda token başına maliyete doğru kaydırması.
Alternatif YZ Çiplerinin Popülaritesi Artıyor, Sektör Token Başına Fiyatlandırmaya Geçiyor
Uzmana göre, YZ altyapısı sektöründeki mevcut fiyatlandırma, kullanılan GPU'nun türüne ve bilgi işlem kapasitesinin önceden rezerve edilip edilmediğine veya anında talep edilip edilmediğine bağlı olarak değişiyor. Anında talep edilen kapasite için NVIDIA'nın H100 GPU'ları saatlik 2.95 dolar, H200 saatlik 3.50 dolar ve en yeni Blackwell B200'ler ise saatlik 4.90 ila 6.50 dolar arasında fiyatlandırılıyor.
Ancak, kapasite önceden rezerve edildiğinde fiyatlar düşüyor. Bir ila iki yıllık sözleşmeleri kapsayan ve en az 10.000 GPU gerektiren rezerve kapasite için H100, H200 ve B200'ler sırasıyla 1.50 dolar, 2.20 dolar ve en az 3.50 dolara mal oluyor.
Kurumsal Sektördeki Değişim: Çıkarım İşlemleri Token Tabanlı Fiyatlandırmayı Tetikliyor
2025 yılı sonunda NVIDIA, çip girişimi Groq ile özel olmayan bir lisanslama anlaşması imzaladığını duyurdu. Bu anlaşma, o zamana kadarki NVIDIA'nın en büyük anlaşmasıydı ve Groq'un YZ çıkarım teknolojisini kapsıyordu. Nebius uzmanına göre, firmaların kendi yazılımlarını geliştirmek yerine önceden eğitilmiş modelleri veya API'leri kullanması nedeniyle, kurumsal iş yüklerinin toplam talebinin %90 ila %95'ini artık çıkarım işlemleri oluşturuyor.
Uzman, YZ altyapısı pazarında eğitimden çıkarıma doğru yaşanan değişimin tek değişim olmadığını belirtiyor. Başka bir değişim ise, farklı bir maliyet yapısına doğru yaşanan kayma ve NVIDIA GPU'larına alternatif çipler için artan talep.
Milyonda Token Başına Maliyet: NVIDIA Blackwell ve Groq Karşılaştırması
Alternatif maliyet yapısı, firmaların kullanıcılarından token başına veya milyonda token başına ücret talep etmesiyle kendini gösteriyor. Detaylara göre, Groq'un çipleri milyonda token başına 5 ila 10 sent arasında fiyatlandırılarak önemli ölçüde daha uygun maliyetli. Öte yandan, NVIDIA'nın GPU'ları beş kat daha pahalı; B100, B200 veya B300 modelleri milyonda token başına 25 cente mal oluyor. Dahası, Groq'un çipleri sadece maliyet açısından değil, aynı zamanda hız açısından da avantajlı. Nebius uzmanı, bu çiplerin saniyede 800 token'a kadar çıktı verebildiğini, bu rakamın NVIDIA çiplerinin saniyede 450 token'lık performansının neredeyse iki katı olduğunu belirtiyor.
