Ara

MacBook’larda 32 GB RAM ile Yerel Olarak Çalışan Güçlü Yapay Zeka: Inkling 2 Mini Tanıtıldı

Thinking Machines Lab, 26 milyar parametreye sahip olmasına rağmen kodlama, akıl yürütme ve ajan tabanlı görevlerde etkileyici performans sunan, şaşırtıcı derecede yetenekli yeni açık ağırlıklı yapay zeka modeli Inkling 2 Mini'yi tanıttı. Daha da önemlisi, model Apple MacBook'lar dahil olmak üzere tüketici donanımlarında tamamen çevrimdışı çalışabiliyor.

20 Kasım'da duyurulan Inkling 2 Mini, şirketin devasa 594 milyar parametreli Inkling 2 Small modeline kıyasla oldukça küçük bir alternatif olarak karşımıza çıkıyor. Ancak Thinking Machines, sadece mevcut bir mimariyi küçültmek yerine, yeni modelinin daha fazla token üretmeden ek akıl yürütme yapmasına olanak tanıyan ilginç bir yaklaşım benimsedi.

Model, 20.1'lik bir Yapay Analiz (AA) Zeka Endeksi puanı elde ederek, çok daha büyük yapay zeka modellerine rakip bir performans sergiledi.

Inkling 2 Mini, Sadece 26 Milyar Parametre ile Etkileyici Akıl Yürütme Performansı Sunmak İçin Döngüsel Transformer Mimarisi Kullanıyor

Thinking Machines'in resmi teknik duyurusuna göre, Inkling 2 Mini, toplam 26.4 milyar parametreye ve sadece 3.4 milyar aktif parametreye sahip, 24 katmanlı bir Uzmanlar Karması (MoE) transformer mimarisi kullanıyor.

Bu mimariyi özellikle ilginç kılan şey, bilgiyi işleme şekli. Model, her bir token'ı her transformer katmanından yalnızca bir kez geçirmek yerine, orta 12 katmanı üç kez çalıştırırken, ilk ve son altı katmanı normal şekilde işliyor.

Sonuç olarak, model sadece 24 katman için ağırlık depolamasına rağmen, token başına 48 katman uygulaması gerçekleştiriyor. Bu, token başına aktif parametre sayısını 5.4 milyara çıkararak, bellek gereksinimlerini orantılı olarak artırmadan ek hesaplama yapılmasına olanak tanıyor.

Basitçe söylemek gerekirse, Inkling 2 Mini, bir sonraki token'ını üretmeden önce dahili olarak daha fazla zaman harcayarak düşünebiliyor.

Şirket, bu yaklaşımın özellikle ajan tabanlı kodlamada dikkate değer iyileştirmeler sağladığını iddia ediyor. Inkling 2 Mini, DeepSWE v1.1'de %48.2 puan alırken, Qwen3.8-27B için bu oran %42.2 idi. SWE-bench Pro v2 Hard puanı ise %77.9'a ulaşarak rakibini geride bıraktı.

Ayrıca Vals Index v2.2'de %46.5, SWE-bench Verified'da ise %79.2 puan elde etti. Bunlar, şirketin kendi raporladığı değerlendirme sonuçlarıdır ve test yapılandırmalarındaki farklılıklar nedeniyle evrensel performans avantajları olarak yorumlanmamalıdır.

İlginç bir şekilde, Thinking Machines, eğitim verimliliğini artırmak için NVIDIA'nın GB300 Grace Blackwell Ultra platformunu kullanarak ve donanım hızlandırmalı NVFP4 yeteneklerinden yararlanarak Inkling 2 Mini'yi eğitti. Model ağırlıklarının çoğu 4-bit NVFP4 hassasiyetinde eğitilirken, son dört katman 8-bit MXFP8 hassasiyeti kullandı. Şirket, bu ağırlıklar eğitim sırasında kullanılan aynı sayısal hassasiyette dağıtıldığı için, modelin eğitim sonrası niceleme ile ilişkili ek dönüşüm kayıplarından kaçındığını belirtiyor.

Inkling 2 Mini, 20 GB Bellek Alanı ile Çevrimdışı Çalışıyor, Araştırmacılar Gizli Akıl Yürütme Yeteneklerini İnceliyor

Inkling 2 Mini'nin belki de en heyecan verici yönü erişilebilirliğidir. Yeteneklerine rağmen, modelin bellek ayak izi yaklaşık 20 GB civarındadır ve bu da onu Ollama aracılığıyla en az 32 GB birleşik belleğe sahip Apple silikon Mac'lerde çalıştırılabilir kılıyor.

NVIDIA'nın DGX Spark masaüstü yapay zeka bilgisayarı da resmi olarak destekleniyor ve 32 GB veya daha fazla VRAM önerilen diğer GPU yapılandırmaları da mümkün. Model, metin ve görüntü girişlerini desteklemenin yanı sıra, bir milyon tokene kadar çıkan bir bağlam penceresine sahip.

Yeteneklerini göstermek için Thinking Machines, Inkling 2 Mini'yi 48 GB belleğe sahip bir M5 Pro MacBook Pro üzerinde tamamen çevrimdışı çalışırken sergiledi. Bir uçuş sırasında, modelin sadece birkaç dakika içinde oynanabilir bir uçuş simülatörü ürettiği rapor edildi.

Ancak, mimari yapay zeka güvenliği ve şeffaflığı konusunda önemli bir soru işaretini de beraberinde getiriyor.

Döngüsel transformerlar, her akıl yürütme adımını açıkça yazmadan ek hesaplama yapabildiği için, araştırmacılar davranışlarının izlenmesinin daha zor hale gelip gelmediği konusunda endişelerini dile getirdiler.

Thinking Machines, ayrı bir değişken döngü araştırma modeli kullanarak bu konuyu araştırdı ve ek geçişlerin, modelin yazılı bir düşünce zinciri üretmeden problem çözme yeteneğini artırdığını keşfetti. Ölçülen düşünce zinciri olmadan problem çözme ufku, tek geçişte 16 saniyeden üş geçişte 37 saniyeye yükseldi.

Bununla birlikte, şirketin deneyleri, modelin yazılı akıl yürütmesinin anlaşılır kaldığını ve bu ölçekte izlenebilirlik açısından anlamlı bir azalma olmadığını buldu. Araştırmacılar ayrıca, karmaşık çok turlu konuşmalarda ve çok sayıda kısıtlama içeren talimatlarda daha zayıf performans gibi sınırlamaları da kabul ettiler.

Inkling 2 Mini, artık Apache 2.0 lisansı altında mevcut. Ağırlık dosyaları Hugging Face'ten indirilebilir, Ollama aracılığıyla yerel olarak kurulabilir ve Thinking Machines'in Tinker platformu aracılığıyla çıkarım ve ince ayar yapılabilir.

Geliştiriciler için, bulut altyapısına tamamen güvenmek yerine yetenekli yapay zeka ajanlarını yerel olarak çalıştırmakla ilgilenenler için Inkling 2 Mini, gelişmiş yapay zeka modellerini daha erişilebilir kılma yolunda ilginç bir gelişme olarak öne çıkıyor.

Kaynakça: wccftech.com

Önceki Haber
Ekran Süresi Çocuklukta Beyin İçin Şaşırtıcı Bir Fayda Sağlıyor: 8 Yıllık Araştırma Sonuçlandı
Sıradaki Haber
Umut Işığında Yeni Bir Tedavi: 3 Yaşındaki Çocukta Metastatik Kanser, İki Doz Deneysel Terapiyle Tamamen Kayboldu!

Benzer Haberler: