Yapay zeka modellerinin gün geçtikçe daha güçlü hale gelmesi ve buna bağlı olarak daha fazla donanım kaynağına ihtiyaç duyması beklenirken, yenilikçi bir yaklaşım, eski bilgisayarların bile bu teknolojilere ev sahipliği yapabileceğini gösterdi. Girişimci bir kullanıcı, 12 GB RAM'e sahip eski bir Windows dizüstü bilgisayarında popüler Qwen3.8-27B yapay zeka modelini çalıştırmayı başardı. Bu, standart olarak en az 15-17 GB VRAM ve sistem RAM'i gerektiren bir model için ilk bakışta imkansız gibi görünebilirdi. Ancak, açık kaynaklı yazılımlar sayesinde, kullanıcı dört farklı cihazın belleğini birleştirerek bu başarıya ulaştı.
Takas Edilmesi Gereken En Belirgin Şey: Saniyede 2 Token Hızındaki İnanılmaz Yavaşlık
Qwen3.8-27B modelinin normalde sıkıştırılmamış versiyonu, yaklaşık 55-60 GB VRAM ve sistem RAM'i gerektiriyor. Bu da güncel sistemlerin çoğunun bu modeli çalıştıramayacağı anlamına geliyor. Ancak, bir kullanıcı, yerel ağındaki dört cihazın belleğini birleştirerek, modelin 4-bit sıkıştırılmış versiyonunu başarıyla çalıştırdı.
RAMDeck adlı açık kaynaklı bir yazılım sayesinde, RTX 3060'lı bir mini PC, bir Mac mini ve bir Android akıllı telefon bu deneye dahil edildi. 12 GB RAM'e sahip Windows dizüstü bilgisayar ana düğüm olarak görev yaptı ve yapay zeka modeline 3.4 GB bellek ayırdı. Ardından gelen mini PC, 20 GB VRAM ve sistem belleği ile katkıda bulundu. Mac mini ve Android akıllı telefon ise sırasıyla 3.7 GB ve 1 GB bellek sağlayarak modele destek oldu.
Bu deney, en yeni ve en pahalı bilgisayar donanımlarına büyük paralar harcamak yerine, kullanılmayan eski donanımların da yapay zeka modelleri için nasıl faydalı hale getirilebileceğini gösteriyor. Elbette, bu tür bir birleştirme işleminin dezavantajları da yok değil. En dikkat çekici olumsuzluklar, düşük performans ve artan gecikme süresi olarak öne çıkıyor.
Saniyede 1.92 token hızında ve 25 ms gecikmeyle çalışan bu kurulum, bazı kullanıcılar tarafından zaman kaybı olarak görülebilir. Modelin aşırı yavaş performansı, kullanıcıları deneyi sonlandırmaya itebilir. Bu noktada, Qwen3.8-27B'nin daha da sıkıştırılmış 2-bit versiyonunu veya daha küçük 13B modellerini çalıştırmak daha mantıklı bir alternatif olarak öne çıkıyor. Yine de, biraz istek ve RAMDeck gibi araçlarla, eski donanımlarınızın bile yeniden anlam kazanması mümkün; tabii ki bu tavizlere razıysanız.
