NVIDIA'nın bir süredir piyasada olan GeForce RTX 30 Serisi (kod adı Ampere) ekran kartlarının, aslında kullanmadıkları önemli bir hesaplama potansiyeline sahip olduğu ortaya çıktı. GitHub kullanıcısı Zagitta tarafından geliştirilen açık kaynaklı GPU Unlock adlı proje, Ampere tabanlı kartlarda yapay olarak uygulanan performans kısıtlamalarını ortadan kaldırarak, belirli iş yüklerinde Tensor Çekirdeklerinin yapay zeka hesaplama gücünü neredeyse ikiye katlıyor. Bu işlem için herhangi bir özel NVIDIA sürücüsü veya kalıcı VBIOS değişikliği gerekmiyor.
Proje, özellikle tüketici sınıfı Ampere ekran kartlarında, profesyonel kartlara kıyasla daha düşük hızda çalışan FP16/BF16 Tensor Çekirdek işlemleri ile FP32 birikimi arasındaki talimat sorun hızını hedef alıyor. Bu kısıtlamanın kaldırılmasıyla, araç aslında ekran kartlarının zaten sunabildiği ek hesaplama performansını kullanılabilir hale getiriyor.
GPU Unlock'un ilginç bir şekilde, NVIDIA'nın kripto para madenciliği için geliştirdiği CMP (Cryptocurrency Mining Processor) kartlarıyla ilgili önceki araştırmalardan yararlandığı belirtiliyor. Proje, CMP'nin firmware kilit açma tekniklerini, erken başlatma yaklaşımıyla birleştiriyor. Bunu, NVIDIA'nın GPU sürücüsü yüklenmeden önce çalışan bir Linux çekirdek modülü aracılığıyla yapıyor. Bu modül, ilgili donanım hız seçicilerini değiştiriyor, bir Fonksiyon Seviyesi Sıfırlaması (FLR) gerçekleştiriyor ve ardından değiştirilmemiş sürücünün ekran kartını normal şekilde başlatmasına olanak tanıyor.
Bu gelişme sayesinde kullanıcılar, her yeni sürücü sürümü çıktığında sürücülerini tekrar yamalamak zorunda kalmayacak. Geliştirici şu anda GA102, GA103, GA104 ve GA106 GPU'ları için destek sunduğunu belirtiyor. Bu da GeForce RTX 30 Serisi'nin önemli bir bölümünü kapsıyor. Ancak, tüm ekran kartlarında uyumluluk ve performans artışlarının garanti edilmediğini de eklemek gerekiyor.
Elde edilen performans artışları oldukça dikkat çekici. Projenin GitHub deposunda yayınlanan kıyaslamalara göre, 450W güç limitinde çalışan bir RTX 3090 Ti, FP32 birikimi ile yapılan yoğun matris çarpımı (GEMM) testlerinde şu sonuçları elde etmiş:
Bu etkileyici sonuçlar yalnızca RTX 3090 Ti ile sınırlı değil. Bir RTX 3080 Ti kullanıcısı, BF16 işlem gücünün 71.59'dan 113.98 TFLOPS'a yükseldiğini, TF32 performansının ise 35.65'ten 65.28 TFLOPS'a çıktığını bildirmiş. Bu testte kart 315W ile sınırlanmış. Başka bir RTX 3080 10GB uyumluluk raporunda ise, kartın orijinal 320W güç limiti altında FP16/BF16 performansının yaklaşık 65 TFLOPS'tan 110-113 TFLOPS'a çıktığı belgelenmiş. Bu iyileştirmeler sosyal medyada da geniş yankı bulmuş.
Peki ya gerçek uygulamalardaki performans? Şanslıyız ki, topluluk üyeleri bu kilidi açmayı yapay zeka iş yüklerinde test etmeye başlamış ve ilk bulgular oldukça umut verici.
Bir RTX 3090 Ti kullanıcısı, ComfyUI'de GPU Unlock'u test ederek MOSS-Image SFT BF16 için yüzde 58.6, Qwen-Image 2.1 Turbo BF16 için yüzde 57.2 ve Z-Image Turbo BF16 için yüzde 56.1 daha yüksek işlem gücü elde ettiğini rapor etmiş. INT8 yapılandırmalarında ise çok daha düşük artışlar gözlemlenmiş; MOSS-Image SFT INT8 sadece yüzde 0.3 iyileşme göstermiş. Testi yapan kullanıcı, hem standart hem de kilidi açılmış yapılandırmalar arasında çözülmüş görsel çıktının tamamen aynı olduğunu da belirtmiş.
Büyük Dil Modeli (LLM) çıkarımı da potansiyel bir fayda alanı olsa da, iyileştirmeler büyük ölçüde iş yüküne bağlı olarak değişiyor. Örneğin, bir RTX 3090 uyumluluk raporunda, vLLM komut işleme/çıkarım işlem gücünde yüzde 33'lük bir iyileşme belgelenirken, token üretimi neredeyse aynı kalmış. Bunun nedeni anlaşılabilir, çünkü LLM çözme işlemi genellikle saf Tensor Çekirdek hesaplama gücünden ziyade bellek bant genişliği ile sınırlıdır.
Dikkate değer bir diğer gelişme ise, orijinal Linux çekirdek modülü yerine UEFI tabanlı bir yaklaşım kullanan deneysel bir Windows uygulaması. Bu çözümün geliştiricisi, başarılı bir RTX 3090 uygulamasını belgeleyerek, BF16 hesaplama gücünün yaklaşık yüzde 82.5 arttığını belirtmiş. Ancak bu, genel kullanıma uygun bir Windows sürümünden ziyade, hala deneysel ve donanıma özel bir çözüm olma özelliğini taşıyor.
Önemli kısıtlamalar da mevcut. GPU Unlock, bellek bant genişliğini artırmıyor, ek CUDA çekirdekleri etkinleştirmiyor veya her iş yükünü otomatik olarak iyileştirmiyor. En az bir RTX 3080 Ti 20GB uyumluluk raporu, beklenen BF16 performans artışı olmadan başarılı bir kilit açma prosedürü belgelemiş. Bu da sonuçların evrensel olmadığını gösteriyor.
Oyun tarafında ise, NVIDIA'nın DLSS teknolojileri de Tensor Çekirdeklerini kullanıyor. Ancak, şu anda GPU Unlock'un oyun performansını veya DLSS yürütme sürelerini iyileştirdiğine dair ikna edici bir kanıt bulunmuyor. Etkilenen talimatların ve birikim modlarının, herhangi bir fayda sağlaması için gerçek iş yükü tarafından kullanılması gerekiyor. Sonuç olarak, etkileyici hesaplama kıyaslamaları, oyun FPS'sinde eşdeğer bir artış olarak yanlış anlaşılmamalı.
Bununla birlikte GPU Unlock, GeForce RTX 30 Serisi sahipleri, özellikle de ekran kartlarını yerel yapay zeka çıkarımı, görüntü üretimi ve diğer yoğun hesaplama uygulamaları için kullananlar için heyecan verici bir gelişme. Proje hala deneysel olsa da, donanımı kalıcı olarak değiştirmeden mevcut donanımdan önemli ölçüde daha fazla performans elde etme vaadi kesinlikle ilgi çekici.
