Teknoloji devi Meta, yapay zeka altyapısını daha da ileriye taşımak amacıyla AMD ile stratejik ortaklığını derinleştiriyor. Bu iş birliği kapsamında Meta, en yeni yapay zeka modellerini desteklemek ve geliştirmek için milyonlarca AMD EPYC işlemcisini, özellikle de 6. Nesil "Venice" çiplerini kullanmaya başlıyor. Ayrıca, gelecekteki Instinct MI500 ve raf ölçekli çözümlerden de faydalanacak.
Meta ve AMD, EPYC CPU, Instinct GPU ve Raf Ölçekli Çözümlerle Ortaklıklarını Güçlendiriyor
AMD ve Meta'dan yapılan açıklamada, stratejik ortaklıklarının daha da güçlendiği duyuruldu. Meta, Muse AI Agent gibi en yeni yapay zeka modellerini çalıştırmak ve Muse Spark Open ile Muse Glimmer'a sıfır gün desteği sunmak için AMD'nin Helios raf ölçekli çözümlerinden yararlanacak. Bu kapsamda AMD Helios raf ölçekli sistemlerinin ilk kurulumları Meta'da gerçekleştiriliyor.
- Meta, milyonlarca EPYC işlemcisini devreye almış durumda ve 6. Nesil EPYC CPU'lar için ana müşteri konumunda.
- AMD Instinct GPU'ları, eğitim, sıralama ve öneri sistemleri için üretiliyor.
- AMD, Instinct GPU'larda Muse Spark Open ve Ryzen AI PC'ler ile Radeon GPU'larda Muse Glimmer için sıfır gün desteği sağladı.
- Şirketler, büyük ölçekli yapay zeka eğitimi ve Instinct MI350X GPU'larda öneri modellerinin optimizasyonu için yazılım iş birliklerini genişletti. Ayrıca PyTorch, Triton ve ROCm'ye yapılan katkılar da bu iş birliğinin bir parçası.
EPYC işlemciler, Meta'nın Muse Kişisel Yapay Zeka aracının temelini oluşturuyor. Şirket, Zen 6 çekirdek mimarisine dayanan en yeni 6. Nesil EPYC "Venice" CPU'lar için ana müşteri olmasının yanı sıra, birçok nesildir milyonlarca EPYC işlemcisini kullanıyor. Meta ayrıca, Yapay Zeka (AI) iş yükleri için tasarlanan Verano gibi gelecekteki işlemci serileri üzerinde AMD ile iş birliği yapan önemli bir müşteri konumunda.
Instinct tarafında ise Meta, eğitim, sıralama ve öneri motorları için AMD'nin GPU'larını kullanıyor. Meta'nın Instinct MI450 serisi için ilk tanımlayıcı müşterilerden biri olduğu ve kendi iş yüklerine özel optimize edilmiş özel bir Instinct GPU'yu devreye alacağı belirtiliyor. Bu ortaklık, birkaç ay önce tanıtılan Instinct MI500 ve gelecek nesil raf ölçekli sistemler gibi gelecekteki AMD platformlarına da genişleyecek.
AMD ve Meta ayrıca, geliştiricilerin AMD GPU'larını kutudan çıktığı gibi kullanabilmelerini sağlamak amacıyla PyTorch aracılığıyla ROCm'yi geliştirmek için birlikte çalıştı. Bu sayede AMD, Instinct GPU'larda Muse Spark Open modeli için sıfır gün desteği sunarken, Muse Glimmer da AMD Ryzen AI PC'ler ve Radeon GPU'lar üzerinde çalışıyor.
Öne Çıkan Optimizasyonlar:
- Muse Spark Open (816 milyar toplam / 42 milyar aktif MoE, 1 milyon bağlam) bir 8x MI350X düğümünde vLLM ile BF16, MXFP4 ve FP8'de hizmet veriyor.
- Çözme adımı çalışmaları (birleştirilmiş dikkat prologu ve MoE sonlandırması, AITER sayfalama dikkatinde kayan pencere katmanları, adım başına yaklaşık 180 daha az çekirdek başlatma), MXFP4 kontrol noktasını 4 eşzamanlı istekte 206'dan 350 çıktı tok/sn'ye ve 32 istekte 719'dan 1.180'e çıkardı.
- Uzman paralelliği (GPU başına 32 uzman), 32-128 eşzamanlı istekte %7-20 verimlilik artışı sağlıyor ve ilk token'e kadar geçen süreyi yaklaşık %24 azaltıyor.
- Ayarlanmış AITER birleştirilmiş-MoE tablosu, küçük çözme gruplarını tek aşamalı bir MXFP4 montaj çekirdeğine yönlendirerek sıralamayı atlıyor.
- DSpark spekülatif çözme, AITER'in kısa sorgulu 3D dikkat çizelgesi ile doğrulama adımı ve taslağın KV-cache eklemesi derlenmiş grafiklerinden çıkarıldığında, tek akışta 199 tok/sn'ye ulaşıyor.
- GSM8K, tüm MXFP4 yapılandırmalarında %94.4 - %95.5 aralığında kalıyor.
- Yük başına seçim: 64 eşzamanlı isteğe kadar TP8 + EP8 + DSpark (tek kullanıcı için düz TP8 + DSpark), bunun ötesinde TP8 + EP8 kullanılıyor.
Zen 6 mimarisine sahip EPYC işlemciler (Venice dahil), Helios raf ölçekli sistemler ve Instinct GPU'ları, derin yazılım optimizasyonları ve ROCm ile PyTorch gibi açık ekosistemlerle birleştirilerek, iki şirket Meta'nın en iddialı modellerini mümkün kılıyor. Bu iş birliği, herhangi bir tek satıcıya olan bağımlılığı azaltırken, öneri sistemlerinden gelecek nesil ajanlara kadar üretim yapay zekasına daha hızlı ve verimli yollar sunarak her iki ortağı da süper zeka çağının ön saflarına konumlandırıyor.
Kaynakça: wccftech.com
