Intel, Yapay Zeka (AI) alanındaki çalışmalarını hızlandırmak amacıyla Arc Pro GPU'ları için geliştirdiği Project Battlematrix çözümüne yönelik önemli bir yazılım güncellemesi yayınladı. LLM Scaler v1.0 adını taşıyan bu güncelleme, büyük performans artışları ve gelişmiş destek özellikleri sunuyor.
Intel, Computex 2025 fuarında duyurduğu Project Battlematrix ile çoklu Arc Pro GPU barındıran iş istasyonları için tek duraklı bir çözüm sunmayı hedefliyor. Şirket, daha önce açıkladığı yol haritasında, üçüncü çeyrekte "Inference Optimized" konteyneri olarak vLLM desteği ve temel telemetri özelliklerini içeren ilk dağıtımı vaat etmişti ve bu sözünü LLM Scaler v1.0 ile yerine getirmiş oldu.
LLM Scaler v1.0 güncellemesi ile gelen yenilikler ve optimizasyonlar şu şekilde sıralanıyor:
- vLLM Geliştirmeleri:
- Uzun girdi uzunlukları (4K üzeri) için TPOP performans optimizasyonu. 32 milyar parametreli bir modelde 40K dizi uzunluğu için performansta 1.8 kat, 70 milyar parametreli bir modelde ise 4.2 kat artış sağlanıyor.
- 8 milyar ile 32 milyar parametre arasındaki modellerde önceki sürümlere kıyasla yaklaşık %10'luk bir çıktı verimliliği artışı sunuluyor.
- GPU belleği ihtiyacını azaltmak için katman bazlı çevrimiçi niceleme (quantization) özelliği ekleniyor.
- vLLM içinde boru hattı paralelliği (pipeline parallelism - PP) desteği (deneysel).
- torch.compile desteği (deneysel).
- Spekülatif kod çözme (speculative decoding) özelliği (deneysel).
- Embedding ve yeniden sıralama (rerank) modeli desteği geliştiriliyor.
- Çoklu-modal (multi-modal) model desteği genişletiliyor.
- Maksimum uzunluk otomatik algılama özelliği ekleniyor.
- Veri paralelliği desteği sağlanıyor.
- OneCCL benchmark aracı etkinleştirildi.
- XPU Manager Özellikleri:
- GPU Gücü Takibi
- GPU Firmware Güncelleme
- GPU Tanılama
- GPU Bellek Bant Genişliği Göstergesi
Intel'e göre, yeni yazılım yığını kullanım kolaylığı ve endüstri standartları göz önünde bulundurularak geliştirildi. Linux tabanlı olarak tasarlanan yeni konteyner, çoklu GPU ölçeklendirme ve PCIe P2P veri aktarımları ile %80'e varan performans artışları sağlayacak şekilde optimize edildi. Ayrıca, ECC, SRIOV, telemetri ve uzaktan firmware güncelleme gibi kurumsal düzeyde güvenilirlik ve yönetilebilirlik özellikleri de sunuyor.
Önceki yol haritasında belirtildiği gibi, bu güncellemenin ardından aynı çeyrek içinde daha sağlam bir konteyner sürümü yayınlanacak. Bu sürüm, performans iyileştirmeleri ve vLLM sunumu konularında daha da gelişmiş özellikler sunacak. Dördüncü çeyrekte ise Intel, tam özellik setine sahip bir sürümle kullanıcıların karşısına çıkmayı planlıyor.
