Yapay zeka ile yakından ilgilenen ve evlerinde boşta duran ekran kartı gücüne sahip kullanıcılar için Nvidia, maliyetleri düşürmek ve çalışmaları gizli tutmak adına harika bir çözüm sunuyor. Şirket, yeni ürünü Kişisel Yapay Zeka Yönlendiricisi (PAIR) ile ev ağındaki sistemlerin boşta kalan ekran kartı döngülerini kullanarak yapay zeka görevlerini dağıtmayı hedefliyor.
Kullanıcılar yerel bir yapay zeka aracını çalıştırıp bir hedef belirlediğinde, bu ana aracın daha büyük hedefi oluşturan birden fazla alt göreve bölebileceği belirtiliyor. Eğer bu alt görevler veya alt araçlar aynı ekran kartı üzerinde çalışırsa, ortaya çıkan yoğunluk görevin tamamlanmasını yavaşlatabilir. PAIR, bu durumu ortadan kaldırarak her alt aracın ayrı bir işlemci kaynağına sahip olmasını sağlıyor.
PAIR, ev ağında bu tür dağıtılmış yapay zeka çalışmalarını mümkün kılan bir araç. Eğer bir aile veya aynı evde yaşayanlar yeterli boş ekran kartı kaynağına sahipse, PAIR her bir katılımcı sisteme bu alt görevlerden birini atayabilir ve sonuçları ana düğüme geri göndererek daha büyük yapay zeka görevlerinin potansiyel olarak daha hızlı tamamlanmasını sağlayabilir.
Elbette, yerel ağdaki sistemler her zaman boşta olmayacaktır. Bu sistemlerin sahipleri ekran kartlarını oyun oynamak, yaratıcı işler yapmak veya kendi yapay zeka görevleri için kullanabilirler. Eğer bir kullanıcı ekran kartına geri ihtiyaç duyarsa, PAIR bu değişen koşulları nazikçe yönettiğini iddia ediyor. Diğer bilgisayarlardan özel bir kapasite ayırmıyor; tasarımı gereği esnek ve o an mevcut olan kaynaklardan en iyi şekilde yararlanıyor.
Boş döngülerin bu öngörülemeyen mevcudiyeti, PAIR kümesinin hizmet kalitesinin garanti edilmediği anlamına gelebilir. Ancak katı bir zaman çizelgesine ihtiyaç duymayan uzun süreli görevler için, boş işlemci gücünü kullanmak tek bir düğüm üzerinde çalışan bir yapay zeka sürüsünü çalıştırmaktan daha etkili olabilir.
PAIR'ın kurulumunun oldukça basit olduğu belirtiliyor. LM Studio ve Ollama gibi popüler yapay zeka ön uçlarının bağlanabilmesi için bir proxy oluşturuyor. PAIR daha sonra ağdaki mevcut düğümler arasında işleri düzenliyor ve bu işlerin sonuçlarını ana düğümdeki orijinal uygulamaya geri iletiyor.
Buna karşılık, katılımcı PAIR düğümlerinin de Ollama veya LM Studio çalıştırması ve kendi PAIR kurulumlarına sahip olması gerekiyor. Nvidia, sistemleri bir PAIR kümesine kaydetmenin oldukça kolay olduğunu ve keşif için mDNS veya bir IP adresi yedeklemesine dayandığını belirtiyor. PAIR ayrıca katılımcı sistemlerde model indirmelerini başlatmaya yardımcı oluyor, ancak Nvidia, düğümlerin tam olarak aynı modellere veya model setlerine sahip olması gerekmediğini söylüyor.
Ancak, daha fazla sistem belirli bir modeli bulunduruyorsa, orkestratör aracının belirli bir modelin yeteneklerini işlemesi gerektiğinde, isteği işleyebilecek potansiyel düğümlerin havuzu genişliyor.
PAIR, DGX Spark (veya diğer GB10) kutularının yanı sıra GeForce RTX 20 serisi veya daha yeni grafik kartlarında çalışabiliyor. Ayrıca çıkarım için M4 serisi veya daha yeni işlemcilere sahip Mac'leri de destekliyor. Buna bağlı olarak, PAIR istemcisi Windows, macOS ve Linux için mevcut olacak.
