Apple'ın kendi gelişmiş yapay zeka modellerini geliştirmesi gerekmeden de sektörde öne çıkabileceği bir gerçek. Bunun en güncel kanıtı ise Apple ve Meta AI arasındaki iş birliğiyle ortaya çıkan yeni Muse Spark Open modeli. Bu model, Apple cihazlarında üstün performans göstermesi için özel olarak optimize edildi.
Meta'nın Muse Spark Open Modeli 816 Milyar Parametreye Sahip Ama Tek Seferde Sadece 42 Milyar Parametre Aktive Ediyor ve En Yeni MLX Çerçevesi ile İki Adet Apple M5 Ultra Mac Studio Üzerinde Çalışmak Üzere Optimize Edildi
Meta, "bugüne kadarki en yetenekli açık kaynaklı İngilizce ağırlıklı model" olarak tanımladığı Muse Spark Open'ı tanıttı. Model, ajan tabanlı görevler ve kodlama alanlarında iddialı olup, uzun vadeli görevlerde, karmaşık yazılım mühendisliğinde ve çok adımlı akıl yürütmede üstünlük sağladığı belirtiliyor.
Muse Spark Open'ın temel mimari özelliklerine bakıldığında, 816 milyar parametrelik devasa bir Uzmanlar Karışımı (MoE) modelidir. Ancak bu parametrelerin sadece 42 milyarı tek seferde aktif hale geliyor. Bu yapı, neredeyse bir trilyon parametrelik bir modelin derin akıl yürütme yeteneklerini, muazzam işlem gücü gereksinimini minimize ederek sunuyor. Ayrıca, 1 milyon tokenlık bir bağlam penceresine sahip.
Dahası, metin dışı girdileri işlemek için ayrı modüler adaptörler veya son aşama birleştirme yöntemleri yerine, modelin mimarisi doğası gereği çok modlu. Bu sayede, uzun vadeli metinlerin yanı sıra kare kare ham video dizilerini de doğrudan yorumlayabiliyor.
Muse Spark Open modelinin Apple gibi kenar cihazlarda verimli çalışabilmesi için Meta, çeşitli özellikler entegre etti:
- Havuzlanmış Bellek Mimarisi: Tek bir Apple M5 Ultra çipi 512 GB'a kadar birleştirilmiş bellek kullanabiliyor. İki böyle cihaz Apple'ın MLX çerçevesiyle eşleştirildiğinde, bu küme 1 TB'lık bir birleştirilmiş bellek süper bilgisayarına dönüşüyor. Bu sayede 816 milyar parametrelik model ağırlık dosyası tamamen cihaz üzerinde barınabiliyor.
- Gecikme Azaltma: Mimari, Apple M5 Ultra'nın muazzam 1.2 TB/s bellek bant genişliğinden yararlanıyor. MoE modelleri, aktif tokenları anında uzmanlara yönlendirmeye bağlı olduğundan, bu yüksek hızlı bant genişliği, herhangi bir token katmanı için gereken 42 milyar parametrelik dilimin işlem hattında ciddi darboğazlara neden olmadan okunmasını sağlıyor.
- Dinamik Ağırlık Çekme: Entegre MLX adaptörü, Hugging Face deposu yapılarıyla yerel olarak iletişim kurarak, yoğun yerel format dönüştürme ihtiyacı olmadan ağırlıkları doğrudan Apple Silicon bellek alanlarına eşliyor.
Elbette, Meta'nın Muse Spark Open modeli, diğer yüksek performanslı kenar cihazlarda da çeşitli optimizasyonlarla verimli bir şekilde çalışabiliyor:
- Özel Helion GPU Çekirdekleri: Apple ekosistemi dışında bağımsız donanımlarda kullanıldığında, mimari SGLang'a entegre edilmiş özel, otomatik ayarlanabilen Helion GPU çekirdeklerini kullanıyor. Bu, NVIDIA ve AMD yongalarında çekirdek düzeyinde 1.03x ile 3.95x arasında hızlanma sağlarken, AMD MI350 donanımı için de %3'lük uçtan uca bir iyileşme sunuyor.
- Mimariyi daha fazla geliştirmek veya genişletmek isteyen geliştiriciler için model, PyTorch'un TorchTitan çerçevesini yerel olarak kullanacak şekilde inşa edildi. Bu, temiz dağıtılmış ince ayar ve yapısal özelleştirmelere olanak tanıyor.
Bu arada model, ABD'den çıkan diğer açık kaynaklı büyük dil modellerini hemen hemen her kıyaslamada geride bırakıyor ve Çin'den gelen modellerle de rekabet edebiliyor. Buna rağmen, bazı Meta modelleri, örneğin Muse Spark 1.3'e kıyasla Muse Spark Open'ın daha zayıf olduğu görülüyor.
Son olarak, performansını anlamak için belirtmek gerekir ki, iki Apple M5 Ultra Mac Studio Thunderbolt ile bağlandığında Muse Spark Open saniyede yaklaşık 20 token, 4 böyle cihaz bağlandığında ise saniyede yaklaşık 36 token üretebiliyor. Modelin en az 359 GB belleğe ihtiyaç duyduğunu da unutmamak gerekir.
