Masaüstü bilgisayarların kompakt form faktörünü yapay zeka iş yükleri için popülerleştiren Mac mini, güçlü yonga setleri ve yeterli birleşik bellek sayesinde bu alanda öne çıkıyor. Bu yaklaşımı benimseyen Singapurlu bir startup olan Acrab, Gelix 1 adını verdiği yapay zeka çipiyle iddialı bir rakip olarak karşımıza çıkıyor. 20 çekirdekli bir ARM işlemciye sahip ve 5nm üretim süreciyle üretilen çip, şirketin iddialarına göre yapay zeka çıkarımında Apple'ın eski M4 Pro'sunu geride bırakabiliyor ve 100 milyar parametreye kadar olan modelleri çalıştırabiliyor.
Acrab'ın Kendi Kıyaslamaları Gelix 1'in Gemma 26B'yi Çalıştırırken Saniyede 1.416 Token Ön Doldurma Oranı Elde Ettiğini Gösteriyor
Gelix 1'in yapay zeka çıkarım yetenekleri, çok çekirdekli sinirsel işlem birimiyle daha da güçleniyor. Birleşik bellek yaklaşımı, Acrab'ın yapay zeka çipinin saniyede 273 GB bant genişliği elde etmesini sağlıyor. İlginç bir şekilde, bu rakam M4 Pro'nun bant genişliğiyle eşleşiyor ve Mac mini gibi, Gelix 1 de performans veya termal sınırlamalar olmaksızın kompakt bir kasada çalışmak üzere tasarlanmış.
Kıyaslama sonuçlarına baktığımızda, Acrab Gelix 1'in 40.000 token bağlam penceresine sahip bir Gemma 26B modelini çalıştırırken saniyede 1.416 token ön doldurma oranı elde ettiğini iddia ediyor. Buna karşılık, M4 Pro'lu Mac mini aynı testte yalnızca saniyede 188 token elde edebildi. Bağımsız doğrulamaların henüz yapılmadığı belirtiliyor, bu nedenle bu verileri şimdilik dikkatli bir şekilde değerlendirmek gerekiyor.
Elbette, Acrab'ın 100 milyar parametreli yapay zeka modellerini çalıştırabilme iddiası gibi birkaç önemli soru işareti bulunuyor. M4 Pro'lu Mac mini şu anda 48 GB birleşik RAM ile sınırlı, bu da 35 milyar parametreli modelleri rahatlıkla çalıştırabilir. Ancak 100 milyar parametreli bir model, 128 GB birleşik bellek gerektirecektir ve bu, Gelix 1'in maksimum yapılandırması olabilir. 20 çekirdekli ARM işlemci, NVIDIA'nın DGX Spark ve RTX Spark'larını anımsatıyor, bu nedenle MediaTek'ten aynı işlemciyi barındırıp barındırmadığını görmek heyecan verici.
Gizlilik ve gecikme konusunda endişeleri olan bireyler ve işletmeler, Gelix 1'i kullanarak daha büyük yapay zeka modellerini minimum masaüstü alanı kaplayarak çalıştırabilir. Ne yazık ki, fiyatlandırma ve bulunabilirlik detayları şu anda bilinmiyor, ancak yerel olarak 100 milyar parametreli modeller çalıştırmayı planlayanlar için uygun maliyetli bir çözüm olmayabilir.
