Güney Kore'deki Sungkyunkwan Üniversitesi'nden bir profesör, Apple'ın yakın zamanda yayımladığı ve büyük dil modellerinin (LLM) ve büyük mantık modellerinin (LRM) temel sınırlılıklarını ortaya koyduğu araştırma makalesinin hatalı olduğuna inanıyor.
Profesöre göre, Apple'ın bu tür gelişmiş modellerin gerçek potansiyelini test etmek için yeterli yüksek performanslı donanıma sahip olmaması, araştırmanın sonuçlarını etkilemiş olabilir. Google, Microsoft veya xAI gibi şirketlerin sahip olduğu devasa GPU tabanlı kümelere benzer bir altyapısı olmayan Apple'ın kendi donanımının yapay zeka eğitimi için yetersiz olduğunu öne sürüyor.
Daha İyi Donanım Gerekiyor İddiası
Apple'ın söz konusu araştırma makalesi, modern LLM ve LRM'lerin, karşılaştıkları problemlerin karmaşıklığı arttıkça sağlıklı yargılarda bulunamadığını iddia ediyordu. Bu durumun, modellerin temel sınırlılıklarını gösterdiği ve 'insan gibi düşünebildikleri' yönündeki yaygın inancı çürüttüğü belirtilmişti. Araştırmacılar, modellerin daha önce karşılaştıkları (eğitim verilerinde olan) bulmacalarda daha iyi performans gösterdiğini, bunun da problem çözme yeteneklerinin uyarlanabilirliğinden ziyade ezberden kaynaklandığını ima ettiğini gözlemlemişlerdi.
Ancak profesör, Apple araştırmasının temel sonucunun — karmaşıklık belirli bir noktanın ötesine geçtiğinde model doğruluğunun sıfıra düşmesi — kusurlu olduğunu savunuyor.
Profesör, "Bu, gerçek dil modeli ölçeklendirme yasalarının gözlemleriyle doğrudan çelişiyor" diyor. "Bugüne kadar yapılan yüzlerce ölçeklendirme çalışması, parametre sayısı arttıkça performansın bir güç yasası şeklinde tutarlı bir şekilde iyileştiğini ve belirli bir boyutun ötesinde performansın doygunluğa doğru hareket ettiğini göstermiştir. En kötü ihtimalle performans doygunluğa ulaşabilir, ancak düşmez. ... Bunun nedeni, Apple'ın ölçeklendirme eğilimlerini doğrulamak için yeterince büyük bir parametre alanını test edebilecek büyüklükte bir GPU tabanlı yapay zeka veri merkezine sahip olmaması olabilir. ... Ölçeklendirme yasasını doğrulamak, büyük dil modellerinin ölçeklendirme yasasını doğrulamaya benzer ve bunun için Apple araştırmacılarının eğitim verileri, parametreler ve hesaplama yükü kombinasyonlarını test edip performans eğrisini göstermeleri gerekirdi."
Apple'ın makalesinin yayımlanması, şirketin yapay zeka çabaları hakkında önemli bir duyuru yapmadığı ve bu alandaki küresel yarışta geride kaldığı yönünde eleştirilere yol açan yıllık WWDC konferansından kısa bir süre önce gerçekleşti. Profesör, bu tür bir tesadüfün kaza eseri olmadığını ve Apple'ın piyasa liderlerinin (Anthropic, Google, OpenAI, xAI gibi) başarılarını küçültme niyetinde olduğunu, çünkü şirketin açıkça onların gerisinde kaldığını düşünüyor.
Temel Donanım Sınırlılıkları İddiası
Apple, 2024'te 'Apple Intelligence' girişimini tanıttığında, cihaz içi işlemeye ve nispeten temel görevlere odaklanmıştı. WWDC'de şirket, kendi veri merkezi sınıfı yapay zeka donanımıyla ilgili herhangi bir ilerleme göstermedi ve bu şekilde Apple Intelligence'ı katı gizlilik ve performans kısıtlamalarıyla cihaz içi işlemeyle sınırladı. Bu yaklaşım gizliliğe önem veren kullanıcılar arasındaki konumunu güçlendirse de, rekabetçi bir şekilde çalışabilmek için önemli hesaplama gücü ve kullanıcı verisi gerektiren LLM ve LRM'leri eğitme yeteneğinden yoksun olduğu anlamına geliyor.
Aynı zamanda Apple, artık Siri gibi yapay zeka araçlarının, Siri bir sorguya kendi başına cevap veremediğinde harici büyük dil modellerini (önce ChatGPT, yakında Gemini) kullanmasına izin veriyor. Bu durumda, ChatGPT yalnızca kullanıcı tarafından açıkça onaylanan içeriği alıyor. Apple, kullanıcının IP'sini gizliyor ve kişisel hesap verilerinin paylaşılmadığı veya tutulmadığı konusunda güvence veriyor.
Böyle bir hibrit yaklaşım Apple için pek yaygın değil ve profesör, bunun Apple'ın kapalı ekosistemine temel odaklanmasının bir sonucu olduğuna inanıyor. Bu odaklanma, şirketin LRM ve LLM eğitimi için gereken doğru veri merkezi sınıfı donanımını geliştirmesini engellemiş olabilir. Sonuçta, Apple'ın M serisi işlemcileri öncelikli olarak kullanıcı bilgisayarları için tasarlanmıştır ve bu nedenle GPU'ları yapay zeka eğitimi için kullanılan FP16'yı desteklemezken, bellek alt sistemleri yüksek performanslı HBM3E yerine LPDDR5 belleğe güvenir.
Sonuç olarak, Apple rakiplerini yakalamak istiyorsa, kullanıcı bilgisayarları için tasarlanan M serisi çiplerindeki GPU ve NPU tasarımlarına temel olarak dayanmayacak, gelişmiş bellek alt sistemleri ve sofistike yapay zeka eğitim ve çıkarım yeteneklerine sahip özel sunucu sınıfı işlemciler geliştirmelidir.
