400 milyar parametreye sahip büyük dil modelleri (LLM), ancak devasa bellek kapasitesine sahip cihazlarda çalışabiliyor. Çünkü sıkıştırılmış veya nicemlenmiş (quantized) versiyonları bile minimum 200 GB RAM'e ihtiyaç duyuyor. Bu akıl almaz gereksinimler göz önüne alındığında, bir iPhone 17 Pro'nun 400 milyar parametreli bir LLM'yi çalıştırması neredeyse imkansız görünse de, bir kişinin bunu başardığına dair video kanıtları mevcut.
Ancak bu başarının bazı akıllıca 'hileler' olmadan gerçekleşmediğini belirtmek gerek. Gelin bu detaylara yakından bakalım.
Beklendiği Gibi, iPhone 17 Pro Saniyede Yalnızca 0,6 Token Üretebiliyor, Ancak Bu Zorlu Meydan Okumanın Üstesinden Gelmek Bile Etkileyici
Teknoscope'un haberine göre, iPhone 17 Pro üzerinde açık kaynaklı bir proje olan Flash-MoE çalıştırıldı. Yapılan gösterimde, amiral gemisi modelin bu son derece zorlayıcı modeli çalıştırabildiği, ancak bunun bazı dezavantajları olduğu görüldü. Örneğin, videoda da fark edileceği üzere, token (kelime) üretim hızı saniyede sadece 0,6 token ile oldukça yavaş. Bu da her 1,5 ila 2 saniyede bir kelime üretilmesi anlamına geliyor.
Yeterli sabrınız varsa veya iPhone 17 Pro sorgunuzu oluştururken kendinizi başka görevlerle meşgul edebiliyorsanız, bu kadar yavaş bir performansı görmek birçok kullanıcının saçlarını başlarına toplamasına neden olabilir. Ancak yine de, bir akıllı telefonda 400 milyar parametreli bir LLM'nin çalışması, hızına bakılmaksızın, birkaç ek optimizasyonla cihaz üzerinde büyük dil modellerini çalıştırmanın ne kadar mümkün olduğunu gösteriyor.
Bu başarının nasıl sağlandığına gelince; tüm LLM'yi belleğe yüklemek yerine (ki bu, iPhone 17 Pro'nun sadece 12 GB LPDDR5X RAM'e sahip olması nedeniyle imkansız olurdu), Flash-MoE, cihazın SSD'sini doğrudan GPU'ya veri akışı sağlamak için kullanıyor. Ayrıca, 'MoE', Uzmanlar Karışımı modeli anlamına geliyor, bu nedenle ürettiği her kelime için bu 400 milyar parametrenin yalnızca küçük bir kısmına ihtiyaç duyuyor.
Diğer bir faydası ise, aktif bir internet bağlantısı kullanmadan yanıt alırken %100 gizlilik elde etmeniz. Ancak bu durum, iPhone 17 Pro'nun pilini ciddi şekilde zorlayacaktır. Geliştiriciler ayrıca bu büyük dil modellerinin sıkıştırılmış veya 'nicemlenmiş' sürümlerine de başvuruyorlar, ancak 400 milyar parametreli bir modelin minimum 200 GB RAM'e ihtiyacı olması, iPhone 17 Pro üzerinde çalışmasını imkansız hale getiriyor.
Özetle, son gösterim, sorguları saniyede 0,6 token gibi zahmetli bir süreçte oluşturmaya razıysanız, bir akıllı telefonda 400 milyar parametreli bir LLM çalıştırabileceğinizi gösteriyor. Ancak, bir büyük dil modelini çalıştırmak ile onu kullanılabilir bir şekilde çalıştırmak arasında büyük bir fark var.
