OpenAI ve Anthropic gibi yapay zeka devlerinin Çinli laboratuvarların en gelişmiş modellerini veri çekme konusunda kısıtladığı bir dönemde, Moonshot'un Kimi K3.1 Pro modelinin beklenen düşüşü yaşanmadı. Hatta aksine, Kimi K3.1 Pro, en sert eleştirmenlerin bile beklentilerini aşarak, yapay analiz zeka indeksinde GPT-6 Astra ve Claude Fable 5.1'in rahatlıkla önüne geçti.
Moonshot'un Kimi K3.1 Pro'su, 3D Sentez, Gelişmiş Finansal Modelleme ve Ajan Tabanlı İş Akışları İçin Optimize Edilmiş Yoğun Ölçekli Eğitim Sonrası Hesaplama Çerçevesini Kullanırken Kimi K3 Modelinin Mimari Unsurlarını Koruyor
Mimari detaylara girmeden önce, Kimi K3.1 Pro hakkındaki şu bilgilere göz atalım:
- Toplam Parametre: 2.8 Trilyon.
- Aktif Parametre: Token başına 104 Milyar (~%1.8 aktivasyon oranı).
- Bağlam Penceresi: Yerel olarak 1 Milyon token.
- Konumsal Gömülmeler: Geleneksel RoPE katmanlarını tamamen ortadan kaldıran, daha esnek ve daha büyük bir bağlam penceresi, daha iyi genelleme ve geliştirilmiş hesaplama verimliliği sağlayan NoPE (Konumsal Gömülme Yok) kullanıyor.
- Kuantizasyon: Muazzam donanım verimliliği için kuantizasyon farkındalığıyla eğitilmiş MXFP4 ağırlıkları ve MXFP8 aktivasyonları kullanıyor.
- Fiyatlandırma: 1 milyon giriş/çıkış/önbellek isabeti token başına sırasıyla $2/$10/$0.20, bu da Kimi K3'e göre her üç oranda da %33 daha ucuz.
- Açık ağırlıklar 4 Kasım'da yayınlanacak.
Bir yapay zeka modeli temelde, iki ana unsurdan oluşan bir dizi dönüştürücü bloktan oluşur:
- Dikkat Katmanı: Bir cümledeki kelimelerin birbirleriyle nasıl bağlantı kurduğuna bakar. Örneğin, modele "Paris Fransa'nın başkentidir" şeklinde bir komut verdiğinizde, dikkat katmanı "başkent" kelimesini "Fransa" ile ilişkilendirir ve "Paris"in cevap olduğunu belirler. Bununla birlikte, bu katman "Fransa" veya "Paris"in ne anlama geldiğini bilmez, ancak bu bilgileri KV önbelleği şeklinde kaydeder. Bağlam arttıkça KV önbelleği de artar.
- İleri Beslemeli Ağ (FFN): Modelin tüm bilgisini ağırlıklar şeklinde tutar ve her kelimenin arkasındaki anlamı ortaya çıkarmak için derin matematiksel formüller kullanan katman budur. Bu genellikle aktivasyonlar veya gizli durum olarak bilinir ve bir modelin, birden çok dönüştürücü katmanı tarafından tokenlar işlenirken ürettiği içsel matematiksel temsilleri oluşturur. Örneğin, "Fransa" kelimesine bakıp ülke ansiklopedisini aktive ederek kelimenin kastedilen anlamını ortaya çıkarır.
KV önbelleğinin verilen bağlamla doğrusal olarak ölçeklendiği mevcut karesel dikkat yaklaşımının aksine, Kimi K3.1 Pro, tekrarlanan ve Hibrit Karışımlı bir durumu 3:1 oranında kullanan hibrit bir doğrusal dikkat mekanizması olan Kimi Delta Attention'ı (KDA) benimser.
Bu konsepti basitleştirmek için, geleneksel yaklaşımda modelin okuduğu her cümleyi ayrı bir yapışkan not yığınına yazması gerektiğini, bu da bağlam arttıkça KV önbelleğinin büyümesi ve genel işlemeyi yavaşlatması anlamına geldiğini unutmayın.
Ancak Kimi K3.1 Pro'nun yaklaşımı, her biri önemli bilgilerin özetini tek bir yapışkan not sayfasına kaydeden üç asistandan yararlanır. Bağlam ne kadar uzun olursa olsun, eski ve daha güncel olmayan bilgiler silindiği için özet boyutu artmaz.
Bununla birlikte, bu durum kaçınılmaz olarak bu asistanların çok spesifik küçük ayrıntıları (örneğin 100. sayfadaki bir telefon numarası gibi) gözden kaçırmasına neden olacaktır. Bu eksikliği gidermek için, dördüncü asistan (Hibrit Karışımlı Durum veya daha spesifik olarak Kapılı Çok Başlı Gizli Dikkat katmanı olarak adlandırılır), tüm bağlamın anlık bir görüntüsünü alır ve bunu 4K bir filmi küçük bir zip dosyasına sıkıştırmaya benzer şekilde sıkıştırır. Model bu "global anlık görüntüye" bakması gerektiğini hissettiğinde, dosyayı anlık olarak genişletir, bir göz atar ve sonra tekrar sıkıştırır.
Ortaya çıkan desen şudur:
- Asistan 1 (KDA): Hızlı bir özet notu tutar.
- Asistan 2 (KDA): Hızlı bir özet notu tutar.
- Asistan 3 (KDA): Hızlı bir özet notu tutar.
- Asistan 4 (Global Dikkat): Her şeyin mükemmel, birebir bir fotoğrafını çeker.
Bu desen tekrar tekrar tekrarlanır. Ve asistanların 4'ünden 3'ü ultra hızlı bir bellek katmanı yaklaşımı kullandığı için, KV önbelleği önemli ölçüde azalır.
Tüm bunları özetlemek gerekirse, Kimi K3.1 Pro 69 katmana sahiptir, ancak her 3 katmandan sonra (toplam 24 adet) bir Kapılı Çok Başlı Gizli Dikkat katmanı yerleştirilmiştir.
Kimi K3.1 Pro, Yapay Analiz Zeka İndeksinde GPT-6 Astra ve Claude Fable 5.1'i Geride Bırakıyor
Kimi K3.1 Pro, Yapay Analiz Zeka İndeksinde 55 puan ile Anthropic'in Claude Fable 5.1 ve OpenAI'nin GPT-6'sının 53 puanının üzerinde bir skor elde etti ve Claude Opus 5.5, Claude Sonnet 5.5 ve Meta'nın Muse Wonder Full'unun hemen altında yer aldı. Ayrıca Kod Arenası'nda Claude Opus 5'e eşdeğer 8. sırada yer alıyor.
Dahası, Moonshot, açıklanmamış bir versiyonun iç Linux çekirdeği, Node.js ve Exim açığı giderme görevlerinin %90.5'ini çözebilmesinin ardından, eğitim ve pekiştirmeli öğrenme (RL) aşamalarının ortasında "siber ile ilgili verileri belirleyip çıkardığını" belirtti. Buna rağmen, modelin xdev-bench-hard üzerinde %81 puan alması, bu durumun onu pek yavaşlatmadığını gösteriyor.
