Oyun konsollarının sınırlarını zorlayan bir gelişme yaşandı. PlayStation 5'in 16GB GDDR6 bellek havuzu ve 448GB/s bant genişliği, yerel bir yapay zeka modelini çalıştırmak için oldukça yeterli donanım sunuyor. Bir teknoloji tutkununun cesur deneyi, PS5'i yerel bir yapay zeka sunucusuna dönüştürmeyi başardı. Bu deneyde, işlem yükü CPU'dan GPU'ya kaydırılarak önemli miktarda bellek serbest bırakıldı ve 27 milyar parametreye sahip Qwen3.8-27B büyük dil modeli (LLM) başarıyla çalıştırıldı.
“PS5LM” Projesi CPU'yu Yükleyici Olarak Kullandı Ama Belleği Sadece 6GB ile Sınırladı; Optimize Edilmiş Bir Port RAM'i 11.4GB'a Yükseltti
Bu dikkat çekici deney, bir Reddit kullanıcısının paylaştığı bilgilerle ortaya çıktı. Başlangıçta, bir Reddit kullanıcısı tarafından geliştirilen resmi olmayan bir "llama.cpp" portu, PlayStation 5'in CPU'yu yükleyici olarak kullanarak yapay zeka modellerini çalıştırmasına olanak tanıdı. Ancak bu yaklaşım, mevcut belleği sadece 6GB ile sınırlıyordu, bu da daha yoğun yapay zeka modellerinin çalıştırılması için yeterli bir framebuffer olmamasına neden oluyordu.
Farklı bir Reddit kullanıcısı, bu sorunu çözmek için "llama.cpp"yi Vulkan aracılığıyla yerel bir uygulama olarak PS5'e getirmeyi başardı. Mesa'dan açık kaynaklı bir AMD sürücüsü olan RADV portunu kullanan bu geliştirme, mevcut belleği 6GB'dan 11.4GB'a çıkardı. Bu sayede, Qwen3.8-27B modelinin oldukça kuantize edilmiş bir sürümünü çalıştırmak için yeterli alan sağlandı. Normalde 16-bit hassasiyette 54GB bellek gerektiren bu model, PS5'in donanım sınırları nedeniyle daha küçük bir boyuta indirildi. Qwen3.8-27B-UD-IQ2_XXS sürümü, ağırlıkları yaklaşık 2 bit kullanarak 6.8GB'a düşürüldü.
Elbette, yoğun bir şekilde kuantize edilmiş bir yapay zeka modeli çalıştırmanın en büyük ödünü, kalite düşüşü oldu. Bu durum, Qwen3.8-27B'nin daha fazla hata yapmasına ve daha zayıf akıl yürütmesine yol açtı. 64K bağlam penceresiyle toplam bellek kullanımı %91'e ulaştı.
PS5'in sunduğu iyi bellek bant genişliği sayesinde, Qwen3.8-27B modeli 20.9 tok/s hıza ulaşabildi. Bu sırada GPU %100, CPU ise sadece %2 kullanıldı. Daha küçük yapay zeka modelleri ise daha yüksek token üretim sonuçları verdi; Gemma 4 E4B 61 tok/s, Llama 3.2 3B ise 124 tok/s hızına ulaştı. Toplam güç tüketimi 86W olarak ölçüldü ve PS5, 54°C gibi serin bir sıcaklıkta çalıştı. Sadece oyun oynamak için tasarlanmış bir konsol için etkileyici bir sonuç olsa da, dikkate alınması gereken bazı ödünleşmeler mevcut.
16GB bellek sınırı, yalnızca yoğun bir şekilde kuantize edilmiş bir 27B LLM veya önemli ölçüde daha küçük yapay zeka modelleri çalıştırmanızla sınırlı kalacağınız anlamına gelir. Bu durum, istediğiniz kalitede sonuçlar alamayabileceğiniz anlamına gelebilir. Ayrıca, "llama.cpp"nin yerel bir uygulamasını PS5'te çalıştırmak için bir jailbreak yapmanız gerekmektedir. Bu işlem garantinizi geçersiz kılabilir ve çevrimiçi oyunlarda yasaklanmanıza neden olabilir. Eğer bunu etkileyici bulduysanız, bir başka kişinin Galaxy S24+ dahil altı cihaz kullanarak 120 milyar parametreli bir yapay zeka modelini nasıl çalıştırdığını öğrendiğinizde daha da şaşıracaksınız.
