Yeni bir araç, NVIDIA'nın RTX 30 ve RTX 40 serisi ekran kartlarının yapay zeka alanındaki performansını önemli ölçüde artırarak, hesaplama yeteneklerini ikiye katlıyor. Ancak bu gelişmeyle birlikte ekran kartlarının fiyatlarında da ciddi bir artış yaşanıyor.
Yeni Araç RTX Serisine Yeni Bir Soluk Getirdi
Geçmişte kripto para madenciliğinin popüler olduğu dönemlerde NVIDIA, GeForce RTX 30 serisi ekran kartlarının hesaplama gücünü BIOS güncellemeleri ve yamalar aracılığıyla kısıtlamıştı. O dönemde madencilik odaklı özel CMP serisi yongalar piyasaya sürülmüştü.
Modlama topluluğu madencilik hızlarını tam olarak ortaya çıkarmayı başarsa da, hesaplama kısıtlamaları devam ediyordu. Ancak artık bu durum, GitHub'da yer alan ve Zagitta adını taşıyan açık kaynaklı bir proje sayesinde değişiyor. Bu proje, Ampere mimarisine sahip ekran kartlarının (RTX 30 serisi) orijinal BF16/FP16 hesaplama hızlarını serbest bırakıyor. Kullanımı oldukça basit olan bu araç, herhangi bir vBIOS değişikliği veya donanımsal modifikasyon gerektirmiyor.
Aracı çalıştırmak oldukça kolay ve NVIDIA'nın RTX 30 serisindeki GA102, GA103, GA104 ve GA106 yongalarında bulunan BF16/FP16 FMA hesaplama yeteneklerini iki katına çıkarıyor.
Bu aracı kullanan birçok kullanıcı, RTX 30 serisi ekran kartlarında yüzde 80'e varan bir performans artışı gözlemliyor. Örneğin, RTX 3090 Ti'nin BF16 yetenekleri 87.5 TFLOPs'tan 157 TFLOPs'a, TF32 ise 42.6 TFLOPs'tan 82.6 TFLOPs'a yükseliyor. Benzer şekilde, RTX 3080 10 GB modeli, stok 320W güç tüketimiyle 65 TFLOPs FP16 performansını 113 TFLOPs'a çıkarıyor.
Yapay zeka dil modellerinde (AI LLMs), bu araçla performansı artırılan RTX 30 serisi ekran kartları, uzun bağlamlı metinlerde (Prefill) yüzde 33-36 daha hızlı çıktı üretebiliyor. İlk kelimeye kadar geçen süre (TTFT) ise yüzde 25 azalıyor. Çözümleme performansı etkilenmezken, matris çarpımı performansı aynı kalıyor.
Şu an için bu performans artışı yalnızca Linux platformlarında kullanılabiliyor; Windows desteği henüz mevcut değil. En büyük fayda RTX 30 serisi ekran kartlarında görülse de, bu geliştirme GTX 9, GTX 10 ve RTX 20 serisi gibi daha eski kartlara da etki ediyor.
Hatta RTX 40 serisi ekran kartları da bu yeni optimizasyonlarla performans artışı yaşıyor.
Diğer kullanıcılar, 24 GB RTX 3090 gibi eski RTX 30 serisi ekran kartlarını kullanarak yapay zeka modellerini iyileştiriyor. Bir kullanıcı, Qwen3.8-27B modelinde saniyede 381 token'a kadar çıktıyla karşılaştığını bildirdi.
Yapay zeka modeli, başlangıç performansında 82 token/saniye iken, optimize edilmiş MTP, DFlash2 ve bağlam arama ile 4.6 katına kadar hızlanmış. Bu tür gelişmeler yaşanırken, optimize edilen eski kartların fiyatları da yükselişe geçiyor.
Örneğin, NVIDIA GeForce RTX 3090 24 GB modeli yaklaşık 1000 ABD Doları civarından satılırken, bu raporların ardından fiyatlar 2000 Dolar'ın üzerine çıktı. RTX 3090 Ti modeli 3000 ABD Doları seviyesine yaklaşırken, RTX 3080 10-12 GB modelleri ise ikinci el piyasasında 900-1100 ABD Doları aralığına ulaşıyor. Bu optimizasyonlar, Ampere mimarili ekran kartlarına oyun dışı alanlarda yeni bir hayat verirken, ikinci el RTX 30 serisi ekran kartı almayı planlayan oyuncuların daha yüksek fiyatlarla karşılaşmasına neden oluyor.
Bu geliştirme aracı, Ampere nesli RTX 30 serisi kartlara yapay zeka dil modeli işlemleri için önemli hesaplama artışları sağlayarak, donanımsal modifikasyona gerek kalmadan çıkarım (inference) ve ince ayar (fine-tuning) için çok daha uygun hale getiriyor. Performans artışı yapay zeka meraklıları için net bir kazanım olsa da, ortaya çıkan talep ikinci el piyasasındaki fiyatları keskin bir şekilde artırıyor. Bu durum, bir zamanlar uygun fiyatlı oyun ekran kartlarını aranan yapay zeka hızlandırıcılara dönüştürüyor ve saf oyuncular için erişilebilirliği azaltıyor.
