Yazılım dünyasında dikkati donanım parçalarından uzaklaştırmayı başaran INT21, yapay zeka alanında devrim niteliğinde bir gelişmeye imza attı. Şirket, son derece hızlı geliştirilen ve optimize edilen özel çıkarım çalışma zamanları sayesinde, özellikle Rust programlama dilini kullanan yapay zeka ajan sürüleri ile Fish Audio'nun Drama 3 modelini sadece bir saat gibi kısa bir sürede önemli ölçüde hızlandırdı.
INT21'in Benzersiz Yaklaşımı: Yapay Zeka Sürüleri, Python Yerine Rust ve Döngüsel İş Akışı
INT21'in temel yaklaşımı, 'Kendi Kendini Geliştiren Altyapı' prensibiyle geleneksel yazılım mühendisliği anlayışını tamamen ters yüz ediyor. İnsan mühendislerin saatlerini harcayarak yapay zeka modellerini çalıştırmak için kod yazdığı yöntem yerine, INT21 yapay zeka ajanlarından oluşan sürüleri kullanarak bu kodları otonom bir şekilde yazıyor, test ediyor ve optimize ediyor.
Bu süreçte en büyük sırrı ise binlerce yapay zeka ajanını aynı anda yöneten bulut tabanlı SwarmOS platformu. Bu ajanlar, yalnızca eğitilmiş bir yapay zeka modelini çalıştırıp kullanıcı girdilerini çıktılara dönüştüren çıkarım çalışma zamanlarını oluşturmaya adanmış özel bir sistem olan Çıkarım Motoru Fabrikası içinde faaliyet gösteriyor. Bu çıkarım motorları, model ağırlıklarını donanıma (GPU, TPU, CPU) yükler ve matematiksel ileri geçişi gerçekleştirerek token'lar üretir. Böylece, sinir ağını çalıştırma hızı ve verimliliği optimize edilerek daha hızlı sonuçlar elde edilir.
INT21, doğru yazılım mimarisini tahmin etmek yerine, yapay zeka ajan sürüleriyle sürekli ve üç adımlı bir döngü içinde çalışıyor:
- Varyasyon: Ajan sürüleri aynı anda kodun birden çok aday uygulamasını üretiyor.
- Değerlendirme: Bu kod varyasyonları, en iyi mevcut temel çizgiye karşı gerçek donanımda (örneğin NVIDIA B200 GPU'lar) hemen test edilerek hangisinin daha hızlı çalıştığı belirleniyor.
- Seçici Tutma: Başarılı olan kodlar otomatik olarak korunurken, başarısız olanlar eleniyor ve daha fazla performans elde etmek için döngü yeniden başlatılıyor.
INT21'in yapay zeka modellerini sıfırdan oluşturmadığını veya yeniden eğitmediğini belirtmekte fayda var. Bunun yerine, 7 farklı model türünde 20'den fazla çıkarım motorunu kullanarak, sürü halindeki yapay zeka ajanları belirli mimariler için hangi optimizasyon numaralarının işe yaradığını (örneğin FP8 karışım uzmanları veya doğrusal dikkat) hatırlıyor. INT21 tarafından oluşturulan her çıkarım motoru, bir sonraki için başlangıç temel çizgisini oluşturarak yeni sürümlerin dağıtım süresini önemli ölçüde kısaltıyor.
INT21'in performans metodolojisinin önemli bir kısmı, Python'ı dağıtım sürecinden çıkarmaya odaklanıyor. Python'ın kullanıcı dostu olmasına rağmen yavaş olduğu ve CPU gecikmelerini gizlemek için Süreçler Arası İletişim (IPC) gibi karmaşık geçici çözümler gerektirdiği biliniyor. INT21'in yapay zeka ajan sürüleri, derlenmiş ve bellek açısından güvenli bir dil olan Rust'ta çalışma zamanları yazarak bu tür hantal geçici çözümlere olan ihtiyacı ortadan kaldırıyor ve donanıma daha yakın bir etkileşim sağlıyor.
Özetle, INT21'in iş akışında insanlar kod yazmıyor. Bunun yerine, mühendisler sadece kısıtlamaları, hedef donanımı ve kabul kriterlerini tanımlıyor. Ardından sürüyü hedefe yönlendiriyor ve ajanlar performans metrikleri karşılanana kadar döngüyü yürütüyor.
Fish Audio'nun Drama 3 modeli söz konusu olduğunda, INT21 yapay zeka ajan sürülerini kullanarak yaklaşık altmış dakika içinde özel bir çıkarım motoru tasarlayabildi:
- Başlangıç Noktası: Fish Audio'nun halka açık sürümü, erken erişim olmadan. Temel çizgi, konuşma, ses ve metinden konuşmaya (TTS) modeller için özel olarak tasarlanmış yüksek performanslı bir sunma çerçevesi olan SGLang-Omni idi ve sıfırıncı gün desteğine sahipti.
- Çıktı: Sunma yolunda Python olmayan derlenmiş bir Rust çalışma zamanı, model erişiminden bir saat sonra çalışır durumda.
- Kurulum: Her iki çalışma zamanı da 2x NVIDIA B200 GPU üzerinde çalıştırıldı; biri üretim, diğeri kodlayıcı için kullanıldı. Her testte, üç farklı komut istemi için tek bir konuşma akışı, 1 çerçevelik ilk parça ve 20 ısınma denemesi kullanıldı.
- Sonuçlar: İlk sesin elde edilme süresi, SGLang-Omni altındaki 37.79 ila 38.61 ms'ye karşılık 15.11 ila 23.58 ms idi. Her komut isteminde daha düşük gerçek zamanlı faktörle, çıktı 1.59 ila 1.63 kat daha yüksekti.
Röportaj Soru & Cevap
INT21'in Fish Audio'nun Drama 3 modeliyle tam olarak ne yaptığını anladığımıza göre, şimdi INT21'in CEO'su ve Kurucusu Bing Xu ile yaptığımız soru-cevap bölümüne geçelim.
S1) Drama 3'e kesinlikle erken erişiminiz olmadığını söylüyorsunuz, ancak ajan sürünüz 60 dakika içinde sıfırıncı gün resmi desteğe sahip bir çerçeve olan SGLang-Omni'den daha iyi performans gösteren bir çalışma zamanı oluşturdu. Yeni model mimarilerini elle uyarlamak artık ölü bir meslek mi?
S2) Drama 3, standart çalışma zamanları için üç büyük zorluk çıkardı: FP8 karışım uzmanları, kod defteri çoklu jeton tahmini ve doğrusal dikkat. Bu karmaşık mekanizmalardan hangisiyle Swarm o tek saat içinde en çok zorlandı ve ajanlar bir insanın aklına gelmeyecek optimizasyon numaraları icat etti mi?
S3) Dağıtımınız, sunma yolunda sıfır Python ile derlenmiş, bellek açısından güvenli bir Rust çalışma zamanı kullanılmasını özellikle vurguluyor. Modern yapay zeka çıkarımında sektörün geri kalanının hala kabul etmeye isteksiz olduğu Python'ın gerçek 'maliyeti' nedir?
S4) SGLang-Omni'nin 38 milisaniyesine kıyasla 15 ila 24 milisaniye arasında bir İlk Ses Süresi (TTFA) elde ettiniz. Sıradan bir insan için 20 milisaniye görünmez gibidir. Psikolojik olarak, bu özel süre azaltımı yapay zeka sesli ajanlarının geleceği için neyi mümkün kılıyor?
S5) Yapay zeka modellerini çalıştıran yazılımı yapay zeka ajanlarının yazdığı gönderinizin, 'süper zekaya doğru ilerlemenin nasıl göründüğünü' belirttiğini söylüyorsunuz. SwarmOS'unuz, oluşturduğu her motorla daha hızlı hale geldiğine göre, yapay zekanın çalıştığı sırada kendi çıkarım motorunu gerçek zamanlı olarak optimize ettiği kendi kendini yiyen bir yılan senaryosundan ne kadar uzaktayız?
S6) Bu kıyaslamayı ikiz NVIDIA B200'ler üzerinde çalıştırarak, saniyede bir saniye ses için GPU süresinde %37–39'luk bir azalma sağladınız. Çıkarım ölçeklenirken, şirketler aslında yazılım çalışma zamanlarını düzeltmek yerine daha fazla B200'e fazladan harcama mı yapıyorlar?
