Günümüzde yapay zeka (YZ) alanındaki gelişmeler hız kesmeden devam ederken, bu alandaki en önemli süreçlerden biri olan büyük dil modellerinin (LLM) verimli çalıştırılması, farklı donanım yapılarını bir araya getiren yenilikçi yaklaşımlarla daha erişilebilir hale geliyor. Özellikle EXO Labs tarafından geliştirilen EXO adlı açık kaynaklı bir çerçeve, bu alanda dikkat çekici bir gelişme sunuyor.
EXO, LLM'lerin çıkarım (inference) işlemini tek bir GPU veya hızlandırıcıya bağlı kalmaktan çıkarıp, mevcut tüm cihazlara otomatik olarak dağıtıyor. Bu sayede masaüstü bilgisayarlar, dizüstü bilgisayarlar, iş istasyonları, sunucular, tabletler ve hatta akıllı telefonlar bir araya gelerek işbirliği içinde çalışan bir YZ ağı oluşturabiliyor.
EXO'nun son denemesi, iki adet NVIDIA DGX Spark sistemi ile Apple'ın M3 Ultra çipli Mac Studio'sunu birleştirerek her bir makinenin kendine özgü güçlü yanlarından faydalanmayı amaçlıyor. DGX Spark, ham hesaplama gücü açısından üstünken, Mac Studio veri aktarımında daha hızlı bir performans sergiliyor. Şu an erken erişimde olan EXO 1.0, bu iki farklı sistemi tek bir çıkarım hattında harmanlayarak şaşırtıcı derecede iyi sonuçlar elde ediyor.
Bu başarı, LLM çıkarımının iki farklı aşamasının akıllıca yönetilmesinden kaynaklanıyor. İlk aşama olan 'prefill' (ön doldurma), modelin kullanıcı girdisini okuyup işlediği ve hesaplama gücünden faydalandığı bölüm. DGX Spark'ın sunduğu güçlü GPU'lar bu aşama için ideal. İkinci aşama olan 'decode' (kod çözme) ise, modelin tek tek kelimeler ürettiği ve yüksek veri bant genişliği gerektiren bir süreç. M3 Ultra'nın geniş bellek veriyolu bu aşamada kritik rol oynuyor. EXO'nun bu iki aşamayı farklı makineler arasında bölerek, modelin iç verilerini (KV cache olarak adlandırılır) katman katman aktarması, sistemlerin birbirini beklemesini engelleyerek eş zamanlı çalışmasını sağlıyor.
EXO'nun Meta'nın Llama-3.1 8B modeli ile yaptığı karşılaştırmalarda, bu hibrit kurulum Mac Studio'ya göre neredeyse üç kat daha hızlı bir performans göstererek genel anlamda 2.8 katlık bir kazanç elde etti. Bu sonuç, özellikle uzun metinler veya daha büyük modeller söz konusu olduğunda daha da artacaktır.
Bu tür 'dağıtık çıkarım' (disaggregated inference) yöntemleri henüz yaygın olmasa da, gelecekte YZ performansının tek bir devasa hızlandırıcı satın almak yerine, mevcut donanımları daha akıllıca yöneterek ölçeklenebileceğinin bir göstergesi olarak öne çıkıyor. Hatta NVIDIA'nın gelecek Rubin CPX platformu da benzer bir prensiple çalışacak; ön doldurma aşaması için hesaplama yoğunluklu işlemciler, kod çözme aşaması için ise yüksek bellek bant genişliğine sahip standart çipler kullanılacak.
EXO'nun erken erişim sürümü şu anda deneysel aşamalarda olsa da, bu durum yüksek performanslı YZ'nin sadece büyük veri merkezlerine özgü olmak zorunda olmadığını gösteren heyecan verici bir konsept kanıtı niteliği taşıyor. Bu gelişme, çevremizdeki cihazların yapay zeka alanındaki potansiyelini yeniden düşünmemize neden oluyor.
