NVIDIA, yeni bir geliştirme ile evlerimizdeki atıl duran bilgisayarları bir araya getirerek yerel bir yapay zeka kümesi oluşturmanın yolunu açtı. PAIR adlı bu yenilikçi araç, herhangi bir ek donanım kurulumuna gerek duymadan yapay zeka çıkarımlarını evdeki cihazlar arasında dağıtarak bulut hizmetlerinin aylık binlerce dolarlık maliyetini ortadan kaldırmayı hedefliyor.
Evlerdeki Gizli Yapay Zeka Potansiyeli NVIDIA PAIR ile Gün Yüzüne Çıkıyor
NVIDIA PAIR'in arkasındaki mantık oldukça basit. Günümüzde pek çok evde, farkında olmadığımız muazzam bir yapay zeka çıkarım gücü bulunuyor. NVIDIA'nın verilerine göre, ortalama bir evdeki bilgisayarların günlük kullanım oranı yalnızca %17 civarında. Bu da günde yaklaşık dört saata denk geliyor. Bu atıl kalan işlem gücü, bir evde tek başına yaklaşık 165 TFLOP'luk bir potansiyeli temsil ediyor.
Eğer bu atıl gücü %60 oranında kullanabilseydik, QWEN 3.8 27B gibi modellerde günde yaklaşık 120 milyon, GPT5.6 gibi daha gelişmiş modellerde ise saatte yaklaşık 5 milyon token işleyebilirdik. Ekonomik olarak bakıldığında, bu durum aylık yaklaşık 1.200 dolarlık bulut API kredisi maliyetine denk geliyor. Elektrik maliyetini de eklediğimizde, bu atıl kalan işlem gücünün ev ekonomisi için ne kadar büyük bir değer taşıdığını görebiliriz.
Bu işlem gücünün önemli bir kısmı, yüksek performanslı ekran kartlarına sahip oyuncu bilgisayarlarından geliyor. Ancak her bilgisayarda bu kadar güçlü ekran kartları bulunmuyor. Peki, tüm bu işlem gücünü evdeki tüm cihazlar arasında nasıl paylaştırabiliriz?
İşte tam da bu noktada NVIDIA PAIR devreye giriyor. NVIDIA'nın "kişisel yapay zeka yönlendirici" olarak adlandırdığı bu yazılım, evdeki cihazlar arasında yapay zeka çıkarımlarını dağıtarak mevcut potansiyeli en üst düzeye çıkarıyor. En önemli özelliği ise herhangi bir donanım gerektirmemesi; her şey tek bir yazılım parçasıyla yönetiliyor.
NVIDIA PAIR Nasıl Çalışıyor?
NVIDIA PAIR, evdeki her bilgisayara kurulan bir yazılım olarak karşımıza çıkıyor. Kullanıcılar, hangi cihazların yönlendiriciye bağlanacağını tamamen kontrol edebiliyor. Yazılım, mDNS (Multicast DNS) protokolü üzerinden cihazları otomatik olarak keşfediyor ve güvenli 6 haneli bir kod ile cihazları eşleştiriyor. Ardından tüm cihazlar, MTLS (Mutual Transport Layer Security) ile güvenli hale getirilmiş bir iletişim kanalı üzerinden veri alışverişi yapıyor.
NVIDIA'nın demo gösteriminde, yapay zeka çıkarım isteklerinin geldiği ve PAIR'in bu istekleri ağdaki uygun bir cihaza yönlendirdiği görülüyor. Yazılım, ayrıca cihazın mevcut yükünü ve çıkarım durumunu da kontrol ediyor. Eğer bir cihazda herhangi bir çıkarım isteği yoksa, işlem gücünü başka bir cihaza aktarıyor. Ancak bilgisayarınızda oyun oynuyorsanız, PAIR bu cihazı kullanmayarak isteği diğer müsait donanımlara dağıtıyor.
- Yeni API Gerektirmez: PAIR, her aracının yeni bir küme API'si ile entegre olmasını beklemek yerine, Ollama ve LM Studio gibi uyumlu arayüzleri yönlendirir.
- Esnek İstemciler: Uyumlu sistemler, müsait olduklarında işlem gücü sağlayabilir ve ihtiyaç duyulmadığında (örneğin kapanma veya uyku moduna geçme durumunda) ağdan ayrılabilir.
- Yerel Kontrol: PAIR, komutları, verileri ve çıkarım trafiğini kullanıcının mevcut yerel ağı içinde tutacak şekilde tasarlanmıştır.
Yazılım, ekran kartı (GPU) farkındalığına sahip olarak geliştirilmiş. Ollama ve LM Studio aracılığıyla yönlendirme yaparak, yapay zeka araçlarının herhangi bir ek yapılandırma yapmasına gerek kalmadan çalışmasını sağlıyor. Bu, model paylaşımı veya tensor paralelliği gibi karmaşık işlemler gerektirmeden, aynı çıkarım isteğini farklı bir bilgisayara gönderme imkanı sunuyor.
Şu anki haliyle NVIDIA PAIR, öncelikli olarak kuyruk derinliği ve ekran kartı kullanım oranına göre çalışıyor. Bu, şu anda bir BETA sürümü olsa da, NVIDIA gelecekte PAIR'in planlama mekanizmasını daha fazla sinyali kullanarak iyileştirmeyi planlıyor.
Uyumluluk
NVIDIA PAIR, başlangıçta Windows, Linux ve macOS platformlarında desteklenecek, bu da onu neredeyse her türlü cihaza kurmayı mümkün kılıyor. Yazılım ayrıca Apache 2.0 lisansı altında açık kaynak olarak yayınlanacak. Şu an için BETA sürümünde olan PAIR, ilerleyen zamanlarda tam sürüm olarak kullanıcılara sunulacak.
PAIR şunları yapabilir:
- Bağımsız işleri yerel ağdaki müsait sistemlere yönlendirebilir.
- Tek bir yerel motorun arkasında bekleyen birden fazla isteğin kuyruklarını azaltabilir.
- Uyumlu bir yapılandırmada, uygun şekilde paralelleştirilmiş iş yükleri için tamamlama sürelerini iyileştirebilir.
- Ana bilgisayarı oyun, yaratıcılık veya diğer etkileşimli görevler için serbest bırakmaya yardımcı olabilir.
- Uygulama iş akışını tanıdık ve yerel olarak tutabilir.
PAIR şunları yapmaz:
- Ekran kartlarını birleştirerek veya VRAM'i tek bir büyük hızlandırıcıda toplayarak çalışmaz.
- Tek bir modeli parçalara ayırmaz veya tek bir çıkarım isteğini makineler arasında bölmez.
NVIDIA PAIR, Ollama ve LM Studio'nun minimum gereksinimlerini karşılayan herhangi bir cihazı da destekleyecek. Yani, cihazınız bu yazılımları veya küçük bir modeli çalıştırabiliyorsa, eski bir dizüstü bilgisayar bile PAIR ile kullanıma hazır hale gelebilir. Ayrıca, sadece NVIDIA ekran kartlarıyla değil, bu gereksinimleri karşılayan tüm ekran kartlarıyla uyumlu çalışacaktır. NVIDIA, şu ana kadar 18 cihaza (ekran kartına) kadar test gerçekleştirdiğini belirtiyor, ancak bu sayının üzerine çıkmak da mümkün.
Her yeni istek için PAIR aşağıdaki faktörleri göz önünde bulundurur:
- Eşlenmiş bir düğümün çevrimiçi ve hazır olup olmadığı
- Desteklenen bir çıkarım motorunun etkin olup olmadığı
- Talep edilen modelin mevcut olup olmadığı
- Mevcut düğüm ve motor yükü, aktif işler dahil
- Mevcut ekran kartı kullanımı (örneğin, grafik yoğunluklu bir uygulama veya araç çalışıyor mu?)
Ağ gereksinimleri açısından, NVIDIA PAIR'in düşük ağ bant genişliğine ihtiyacı vardır, çünkü sadece bir REST API komutu (metin) gönderir. Bu nedenle, yönlendirici üzerindeki kaynak tahsisini, yayın hizmetleri vb. gibi durumları pek fazla etkilemez.
Kullanım Senaryoları
NVIDIA, NVIDIA PAIR için Üçlü Ajan İş Akışları, Çoklu Görev ve Sistem Yükünü Azaltma olmak üzere üç ana kullanım senaryosu sunuyor.
Üçlü Ajan İş Akışları'nda NVIDIA, beş alt ajandan oluşan bir ajanı örnek veriyor. Her bir alt ajan tek bir cihaza çıkarım gönderdiğinde, bu çıkarım işleri sıraya girer. İlk iş tamamlanmadan diğerine geçilmez, bu da kalite faydalarını sağlasa da hızdan ödün verilmesine neden olur.
NVIDIA PAIR ile, bu alt ajan görevlerinin her birini, evdeki farklı cihazlara eşit olarak dağıtarak hız kazanmak mümkün. Örneğin, bir dizüstü bilgisayar, güçlü bir RTX 5090 ekran kartlı bilgisayar ve bir DGX Spark gibi farklı cihazlar devreye girebilir. Sadece evdeki ek bilgi işlem gücünü kullanarak, Hermes ajanı gibi Üçlü Ajan iş akışlarında 2 kata kadar hız artışı elde edilebilir.
Çoklu Görev senaryolarında da NVIDIA PAIR'den faydalanılabilir. Farklı cihazlarda birden fazla oturum paralel olarak çalıştırılabilir. Son olarak, Sistem Yükünü Azaltma, ana cihaz başka bir işlemle (oyun veya yaratıcı işler gibi) meşgulken yapay zeka çıkarım iş yükünün başka bir cihaza aktarılmasıdır. Bu, ana bilgisayarınızdaki kaynakları serbest bırakırken işinizin de tamamlanmasını sağlar.
NVIDIA PAIR, basit bir fikrin iyi bir şekilde uygulanmasıdır: çoğu evde zaten kullanılmayan fazladan bir çıkarım kapasitesi bulunur ve bu yazılım tabanlı yönlendirici, yeni donanımlar, yeni API'ler veya komutların buluta gönderilmesi gerekmeksizin bu atıl gücü işe yarar hale getirir. Yerel ağdaki makineleri keşfederek, tüm işleri boşta olan herhangi bir cihaza yönlendirerek ve zaten oyun oynayan veya render alan bilgisayarlardan kaçınarak, yedek dizüstü bilgisayarları ve kullanılmayan ekran kartlarını özel bir ev kümesine dönüştürür.
Bu sistem VRAM'i birleştirmez veya tek bir modeli kartlar arasında bölmez, ancak kuyrukları kısaltır, çoklu ajan iş akışlarını hızlandırır ve ana makineyi gerçek işler için serbest bırakır. Açık kaynaklı, platformlar arası uyumlu ve hem NVIDIA hem de diğer ekran kartlarıyla Ollama ve LM Studio ile uyumlu PAIR, mevcut bilgisayarlarınızdan gerçek yapay zeka değeri elde etmenin pratik bir yoludur.
