Teknoloji devi Meta'nın, yapay zeka iş yükleri için AMD'nin Instinct MI450 tabanlı özel hızlandırıcılarını kullanacağı ve bu özel çözümlerin 144 GB HBM4 belleğe sahip olacağı bildiriliyor. Bu durum, genel amaçlı MI455X modeline kıyasla bellekte üçte birlik bir düşüş anlamına geliyor. İddialara göre bu özel hızlandırıcılar, özellikle Facebook ve diğer sosyal medya platformlarının kullandığı öneri sistemleri için optimize edilecek.
Eğer bu raporlar doğruysa, Meta'nın en gelişmiş yapay zeka modellerinin eğitimi ve çıkarım işlemleri için Nvidia donanımlarını kullanmaya devam etmesi bekleniyor. Özel Instinct MI455X, altı adet 8-Hi paket kullanarak 144 GB HBM4 belleğe sahip olacak. Karşılaştırma yapmak gerekirse, standart Instinct MI455X modeli 432 GB HBM4 belleğe sahip.
Bu özel tasarımda, işlem performansı da önemli ölçüde azaltılacak. Bellek kapasitesinin 432 GB'tan 144 GB'a indirilmesi ve işlem gücünün düşürülmesi, özellikle HBM4 gibi pahalı bileşenlerin maliyetini önemli ölçüde azaltacaktır. Ayrıca bu değişiklik, özel hızlandırıcının paket boyutunu küçülterek üretim maliyetlerini daha da düşürecektir. Bu sayede Meta, standart modellere kıyasla milyonlarca dolarlık bir tasarruf sağlayabilir.
Bu özel hızlandırıcıların diğer avantajları arasında, öneri sistemleri için daha düşük güç tüketimi ve daha iyi CPU/GPU dengesi sunması yer alıyor. Eğer Meta bu hızlandırıcıları büyük ölçüde öneri sistemleri için kullanırsa, toplam sahip olma maliyetinde ciddi bir iyileşme görülebilir.
Ancak, bu özelleştirmenin önemli dezavantajları da bulunuyor. En büyük sorun, esneklik kaybı. İşlem gücü ve bellek kapasitesindeki azalmalar, bu hızlandırıcıları büyük dil modelleri (LLM) eğitimi ve çıkarımı gibi daha karmaşık görevler için daha az cazip hale getiriyor. Standart Instinct MI455X'in sunduğu 432 GB HBM4 bellek ve 19.6 TB/s bant genişliği, büyük ölçekli eğitim ve çıkarım için kritik öneme sahip. 144 GB'lık kapasite ise modern LLM'ler için oldukça kısıtlayıcı olabilir.
Bir diğer problem ise değişim potansiyelinin azalması. Genel amaçlı bir Instinct MI455X, öneri sistemlerinden eğitim, çıkarım veya başka iş yüklerine kolayca yeniden atanabilir. Ancak Meta'nın özel olarak tasarlanmış sürümü, belirlenen iş yükünün dışındaki alanlarda daha az etkilidir. Eğer Meta'nın işlem gücü talebi model eğitimi ve LLM çıkarımı yönünde kayarsa, bu özel donanımlar farklı iş yükleri için optimize edilmiş ve kullanışlılığı azalmış bir altyapı olarak kalabilir.
Sonuç olarak, Meta'nın model eğitimi ve çıkarım iş yükleri için özelleştirilmiş MI400 yerine, tam özellikli AMD Instinct MI455X sistemlerini veya Nvidia'nın üst düzey platformlarını tercih etmesi gerekebilir. Bu durum, zaten büyük Nvidia altyapısına sahip olan Meta için ironik bir şekilde Nvidia'ya daha fazla sipariş verme olasılığını artırabilir.
AMD ve Meta'nın önümüzdeki beş yıl içinde 6 GW'lık Instinct yapay zeka hızlandırıcı tedariki anlaşması yaptığı biliniyor. Bu anlaşmanın bir parçasının özel hızlandırıcıları içereceği disclosed edilmişti. Mevcut bilgilere göre, bu özel hızlandırıcılar geniş bir iş yükü yelpazesi yerine, yalnızca belirli alanlarda kullanılacak.
