NVIDIA, güçlü yapay zeka yeteneklerini GeForce RTX ve DGX platformlarında daha erişilebilir hale getiriyor. Şirket, yerel yapay zeka deneyimini basitleştiren ve önemli performans artışları sunan yeni güncellemelerle kullanıcıların karşısına çıkıyor.
Yerel Yapay Zeka Uygulamalarında 1.9 Kata Kadar Hızlanma
Yapılan çalışmalar kapsamında, açık kaynaklı llama.cpp ve vLLM topluluklarıyla iş birliği içinde geliştirilen sürekli optimizasyonlar sayesinde yerel yapay zeka uygulamalarında belirgin performans artışları elde edildi. Bu gelişmeler, özellikle SpeedBench-Coding 8K Throughput with AIPerf testlerinde ölçüldü.
NVIDIA RTX platformlarında, Llama.cpp ile yapılan testlerde Qwen3.6-27B modelinde 1.5 kata kadar, Qwen3.6-35B modelinde ise 1.9 kata kadar token işleme (tok/s) hızında artış gözlemlendi. NVIDIA RTX PRO 6000 Blackwell, vLLM ile yapılan testlerde ise her iki modelde de %20'ye varan hızlanma sağladı.
NVIDIA'nın DGX Spark platformları, vLLM üzerinde Qwen3.6-27B modelinde 1.4 kat, DeepSeek v4 Flash üzerinde ise yapay zeka çıkarımında %20'lik bir artışa tanıklık etti. Bu çekirdek optimizasyonları sayesinde, NVIDIA RTX ve DGX platformları gelişmiş spekülatif kod çözme teknikleri ve daha hızlı ön doldurma (prefill) yetenekleri sunuyor. Ayrıca, vLLM'deki yeni XQA dikkat çekirdekleri ve arka uç optimizasyonları, her iki platformda da yerel yapay zeka çıkarımını hızlandırıyor.
Tek Tıkla Yapay Zeka Kurulumu Geliyor
Daha hızlı yerel yapay zeka deneyimine ek olarak NVIDIA, Hermes Agent, OpenClaw ve Perplexity Computer gibi uygulamalar için tek tıkla yapay zeka desteği sunarak yerel yapay zekayı daha da basitleştiriyor. Bu özellikler, 24 GB veya daha fazla belleğe sahip NVIDIA GPU'lar için erişilebilir olacak.
Geçtiğimiz ay tanıtılan Perplexity'nin Taşınabilir Bilgisayar (Portable Computer) ajanı, kullanıcılara Linux gibi sistemlerde Perplexity'yi yerel olarak çalıştırmaları için basit bir yol sunmuştu. Eylül ayından itibaren ise Perplexity Taşınabilir Bilgisayar, en az 24 GB VRAM'e sahip Windows veya Linux çalıştıran NVIDIA RTX GPU'larda da kullanılabilecek. Bu sayede daha geniş bir PC kullanıcısı kitlesi, aynı akıcı kurulum deneyiminden yararlanabilecek. Kullanıcılar, bulutta ek araştırma veya akıl yürütme gerektiğinde görevlerin belirli bölümlerini 15'ten fazla önde gelen modele yönlendirirken, tam iş akışlarını yerel olarak ve kredi tüketmeden çalıştırabilecek. Taşınabilir Bilgisayar, hassas bilgilerin cihazda kalmasına yardımcı olmak için içeriği buluta göndermeden önce izin isteyecek.
Hermes Agent, Nous Research tarafından geliştirilen ve milyonlarca kullanıcı tarafından kullanılan, güvenilirlik ve kendi kendini geliştirme konusunda öne çıkan genel amaçlı bir ajandır. Model ve sağlayıcıdan bağımsız olan Hermes, yerel sistemlerde tüm gün çalışmak üzere tasarlanmıştır, bu da RTX PC'leri, RTX PRO iş istasyonları ve DGX Spark'ı doğal bir uyum haline getirir. Yakında Hermes'te yerel bir modeli yapılandırmak, kullanıcılara Windows ve Linux üzerinde RTX ve DGX sistemlerinde tek tıkla kurulum imkanı sunacak. Ajan, NVIDIA GPU'yu otomatik olarak algılayacak, uygun bir model ve yapılandırma seçecek ve entegre llama.cpp aracılığıyla NVIDIA çıkarım optimizasyonlarıyla çalıştıracak, böylece manuel model indirme ve ayarlama ihtiyacını ortadan kaldıracak.
OpenClaw, açık ajan hareketinin belirleyici projelerinden biri haline gelmiştir; GitHub'daki en büyük yapay zeka projesidir. NVIDIA, Microsoft ve OpenClaw, bu deneyimi Windows PC'lerde kurmayı kolaylaştırmak için birlikte çalışmaktadır. Açık kaynaklı ajanların kurulumunu basitleştirmek amacıyla geliştirilen OpenClaw Windows Uygulaması, en az 24 GB VRAM'e sahip herhangi bir RTX GPU'da optimize edilmiş bir yerel modelin kurulum sürecini kolaylaştırır.
