Huawei, yapay zeka (AI) çiplerinin kullanım oranını artırmayı hedefleyen açık kaynaklı bir yazılım olan Flex:ai'yi duyurdu. Bu yenilikçi araç, özellikle büyük ölçekli hesaplama kümelerinde AI çiplerinden maksimum verim alınmasını sağlayacak şekilde tasarlandı.
Cuma günü tanıtılan platform, popüler Kubernetes üzerine kurulu ve Huawei'nin ModelEngine geliştirici topluluğu aracılığıyla kullanıma sunulacak. Flex:ai'nin piyasaya sürülmesi, Amerika Birleşik Devletleri'nin yüksek performanslı grafik işlem birimi (GPU) donanımlarına yönelik devam eden ihracat kısıtlamaları dönemine denk geliyor. Bu durum, Çin'deki teknoloji şirketlerinin, sınırlı silikon tedarikine karşı bir ara çözüm olarak yazılım tabanlı verimlilik artışlarına yöneldiğini gösteriyor.
Huawei, Flex:ai'nin, NVIDIA'nın çiplerinden 1000 kat daha hızlı bir yapay zeka çipi "analogu oluşturmaya" yardımcı olabileceğini iddia ediyor. Ayrıca, yazılımın ortalama çip kullanım oranını yaklaşık %30 oranında artırabileceği belirtiliyor. Flex:ai'nin bunu, tekil GPU veya sinirsel işlem birimi (NPU) kartlarını birden çok sanal hesaplama örneğine bölerek ve heterojen donanım türleri arasında iş yüklerini düzenleyerek başardığı ifade ediliyor.
Bu sayede, tam hızlandırıcıyı tam olarak kullanmayan daha küçük görevler bir arada çalıştırılabilirken, tek bir cihazın kapasitesini aşan daha büyük modeller birden fazla karta yayılabilir. Yazılım, Hi Scheduler adında akıllı bir zamanlayıcı içeriyor. Bu zamanlayıcı, gerçek zamanlı olarak düğümler arasında boşta kalan kaynakları yeniden dağıtarak, yapay zeka iş yüklerinin kuyrukta olduğu yerlere otomatik olarak hesaplama gücü atıyor.
Flex:ai'nin mimarisi, mevcut açık kaynaklı Kubernetes temelleri üzerine inşa edilmiş ancak standart açık kaynak kullanımlarından farklılaşan şekillerde genişletilmiş. Kubernetes zaten hızlandırıcıları ve zamanlayıcıları ortaya çıkarmak için cihaz eklentilerini destekliyor. Volcano gibi zamanlayıcılar veya Ray gibi çerçeveler, kesirli ayırma ve grup zamanlaması gerçekleştirebiliyor. Flex:ai ise bunları daha üst bir katmanda birleştirirken, standart GPU donanımının yanı sıra Ascend NPU'lar için de destek entegre ediyor gibi görünüyor.
Bu lansman, 2024 yılında NVIDIA tarafından satın alınan Run:ai adlı bir düzenleme platformunun sunduğu işlevselliğe benziyor. Run:ai, büyük GPU kümelerinde çok kiracılı zamanlama ve iş yükü önceliklendirme olanağı sunuyor. Huawei'nin çözümü, en azından kağıt üzerinde benzer iddialarda bulunuyor, ancak açık kaynaklı dağıtım ve çapraz hızlandırıcı uyumluluğuna odaklanıyor. Bu durum, özellikle Ascend çipleri kullanan, Çin silikonları etrafında inşa edilmiş kümelerde daha geniş bir alaka alanı sağlayabilir.
Açık kaynak kodun henüz yayınlanmadığı ve Huawei'nin herhangi bir dokümantasyon veya performans karşılaştırması (benchmark) yayımlamadığı belirtiliyor. Kod kullanıma sunulduğunda, dilimlemenin ayrıntı derecesi, Flex:ai'nin standart Kubernetes zamanlayıcılarıyla nasıl etkileşime girdiği ve en önemlisi, standart eklentiler aracılığıyla yaygın olarak kullanılan GPU türlerini destekleyip desteklemeyeceği gibi kritik sorular yanıtlanacak. Şirket, Shanghai Jiao Tong, Xi'an Jiaotong ve Xiamen Üniversitelerinden araştırmacıların aracın geliştirilmesine katkıda bulunduğunu belirtti.
