Qwen3.8-27B gibi gelişmiş yapay zeka modelleri, yeterli VRAM ve sistem RAM'ine sahip olduğunuzda oldukça yeteneklidir. M4 Pro MacBook Pro'nun 24 GB birleşik belleği, bu tür yapay zeka modellerini çalıştırırken ön dolum (prefill) hızları açısından bir sınırlayıcı faktör olabiliyor. Ancak, bir kullanıcı tarafından yapılan yenilikçi bir deneme, bu soruna ilginç bir çözüm getirdi. iPhone 17 Pro Max, USB-C portu aracılığıyla bağlandığı taşınabilir Mac ile bir araya getirildi ve özel yazılımlar kullanılarak aynı yapay zeka modelini çalıştırırken %44'e varan ön dolum performansı elde edildi.
Bellek 20.480 MB'a Yükseltilse Bile 64K Bağlam Penceresi Sınırı Devrede, iPhone 17 Pro Max İhtiyaç Haline Geliyor
Mac'in 24 GB birleşik bellek sınırını aşmak için, Reddit kullanıcısı “u/StayLameBro”, işlemi makine ve iPhone 17 Pro Max arasında iki şekilde paylaştırdı. Ön dolum hızlandırması için MacBook Pro, her 256 token'lık grubun 1 ila 40. katmanlarını çalıştırıyor ve aktivasyonları telefona aktarıyor. iPhone ise A19 Pro'nun GPU'su üzerinde 41 ila 64. katmanları çalıştırırken, Mac bir sonraki gruba başlıyor. Bu GPU kullanımı, telefonun performansını, tek başına kullanıldığında olduğundan yaklaşık 2.4 kat daha hızlı hale getiriyor.
Neural Engine da boş durmuyor. Her 16K'lık eski bağlam, bir Neural Engine modeline derlenerek token başına yazma süresini, yalnızca A19 Pro'nun GPU'su kullanıldığında 140k bağlamda 279ms'den 176ms'ye düşürüyor. 2.000 token'lık bir dosyayı kaydedilmiş bir oturuma ön dolum performansına bakıldığında: 8K bağlamda, Mac tek başına saniyede 132 token hızına ulaşırken, iPhone ile birlikte bu hız 177 token/saniyeye çıkarak %35'lik bir kazanç sağladı. 16K'da ise bu oran 109 token/saniyeden 157 token/saniyeye yükselerek etkileyici bir %44'lük artış kaydetti.
32K Bağlam Penceresi'nde ise ön dolum hızları saniyede 101 token'dan 130 token'a yükselerek %29'luk bir iyileşme sağlandı. Bir iPhone 17 Pro Max'i bir M4 Pro MacBook Pro'ya bağlayarak inanılmaz ön dolum hızlarına ulaşılacağı düşünülebilir. Ancak, Reddit kullanıcısının belirttiği gibi, bu senaryo bazı sınırlamalara sahip. Örneğin, telefon, 64K altındaki metin üretimini hızlandırmıyor ve bu görev hala Mac'in sorumluluğunda kalıyor.
iPhone 18 Pro ve iPhone 18 Pro Max'i güçlendirecek A20 Pro'nun, daha üstün performansı sayesinde ve çift 16 çekirdekli Neural Engine'i ile, bu tür özel iş yükleri için SoC'nin 7 çekirdekli GPU'sundan daha yüksek hesaplama verimliliği sunduğu belirtiliyor. Mevcut özel yazılım açık kaynaklı ve “backburner” adıyla GitHub'dan indirilebilir.
Bu deneyim bile, artan ön dolum hızlarının önemli bir kazanç sağladığını gösteriyor. Doğal olarak, bu yeteneklerin daha da geliştirilebileceği görülüyor. Ancak bu durum, iPhone gibi cihazların da DRAM ve SSD'lerde yaşanan kıtlık benzeri bir döneme girmesine yol açabilir.
