Yapay zeka alanındaki son gelişmelerden biri olan AutoRound teknolojisi, Intel'in grafik işlemcileri (GPU) ve CUDA tabanlı cihazlarda büyük dil modellerinin (LLM) daha hızlı ve verimli çalışmasını sağlıyor. Bu yeni yaklaşım, modellerin daha az bellek kullanımıyla daha yüksek doğruluk oranları sunmasına olanak tanıyor.
Intel tarafından geliştirilen AutoRound, özellikle düşük bit genişliğine sahip büyük dil modellerinin (LLM) ve görme-dil modellerinin (VLM) nicemlenmesi (quantization) için tasarlanmış son teknoloji bir algoritmadır. Bu algoritma, nicemlenen her tensör için üç adet öğrenilebilir parametre içerir: yuvarlama ayarı (v), alfa (α) ve beta (β). Bu parametreler, blok bazında çıktı yeniden yapılandırma hatasını en aza indirmek amacıyla, eğim inişi (gradient descent) yöntemiyle birlikte optimize edilir.
AutoRound'un başlıca avantajları şunlardır:
- Özellikle çok düşük bit genişliklerinde üstün doğruluk sağlar.
- W4A16, MXFP8, MXFP4, FP8, NVFP4 gibi birden çok veri türünü destekler ve sürekli yeni veri türleri eklenir.
- Karışık bit ve katman bazında hassasiyet arama yeteneği sayesinde doğruluk ve verimlilik arasında esnek dengeler kurulmasına imkan tanır.
- Hem LLM'ler hem de VLM'ler için kullanılabilir.
Bu teknoloji sayesinde, Intel Xeon işlemciler, Intel Gaudi yapay zeka hızlandırıcıları, Intel Veri Merkezi GPU'ları ve Intel Arc B Serisi Grafikler gibi Intel donanımlarında çıkarım (inference) hızını artıran düşük bit formatlarında nicemlenmiş modeller elde etmek mümkün hale geliyor. Ayrıca, CUDA tabanlı cihazlar gibi diğer GPU'larla da uyumluluk sunuyor.
Intel'in gelecekteki veri merkezi GPU'su olan ve kod adı 'Crescent Island' olarak bilinen yeni nesil donanımlarda FP8, MXFP8 ve MXFP4 formatları için yerel destek eklenecek. AutoRound ile nicemlenmiş modeller, bu veri türlerinden doğal olarak faydalanarak Intel yapay zeka donanım portföyünde tutarlı bir performans sergileyecek. Bu durum, algoritma yeniliğinden gerçek dünya uygulamalarına kadar kesintisiz bir geçiş sağlıyor.
