Teknoloji devi Meta, yapay zeka (YZ) çıkarım işlemleri için geliştirdiği dört yeni MTIA (Meta Training and Inference Accelerator) yongasını duyurdu. Broadcom iş birliğiyle geliştirilen bu çipler, önümüzdeki iki yıl içinde kullanıma sunulacak. Meta, MTIA yongalarıyla hızlı ve iteratif bir geliştirme stratejisi izleyerek, endüstri standartlarına uyumlu ve kolay entegre edilebilir çözümler sunmayı hedefliyor.
Yeni tanıtılan çipler MTIA 300, 400, 450 ve 500 olarak adlandırılıyor. MTIA 300 şu anda sıralama ve öneri eğitimleri için üretim aşamasında bulunuyor. MTIA 400 ise veri merkezlerinde kullanılmadan önce laboratuvar testlerinden geçiyor. Özellikle YZ çıkarımına odaklanan MTIA 450 ve MTIA 500'ün ise sırasıyla 2027'nin başlarında ve ilerleyen dönemlerinde seri üretime geçmesi planlanıyor. Meta'nın teknik blogunda paylaşılan bilgilere göre, MTIA 300'den MTIA 500'e kadar HBM bant genişliği 4.5 kat, işlem gücü ise 25 kat artış gösteriyor.
MTIA 450, MTIA 400'ün HBM bant genişliğini ikiye katlıyor ve mevcut ticari ürünlerden daha yüksek bir performans sunduğu belirtiliyor. MTIA 500 ise MTIA 450'ye göre yüzde 50 daha fazla HBM bant genişliği ve daha yüksek HBM kapasitesi sunuyor. Meta'ya göre, transformatör çıkarımının çözümleme aşamasında ana darboğaz işlem gücünden ziyade HBM bant genişliği olduğundan, bu çipler çıkarım iş yükleri için gereksiz maliyet ve güç tüketimi oluşturan büyük ölçekli ön eğitim için tasarlanmış GPU'lara kıyasla daha verimli bir çözüm sunuyor.
Meta'nın yaklaşımı, FlashAttention ve Mixture-of-Experts gibi işlevler için donanım hızlandırmayı ve özel düşük hassasiyetli veri türlerini de içeriyor. MTIA 450, MX4 veri türünü destekleyerek FP16/BF16'ya göre altı kat daha fazla MX4 işlem gücü sağlıyor. Bu, veri türü dönüştürme yazılımı ek yükünü ortadan kaldıran karma düşük hassasiyetli hesaplamalar sayesinde mümkün oluyor.
Donanım açısından MTIA 400, 450 ve 500 aynı şasi, raf ve ağ altyapısını kullanacak. Bu modülerlik sayesinde her yeni çip nesli, mevcut fiziksel alana kolayca entegre edilebiliyor. Meta'ya göre bu tasarım, MTIA yongalarının yaklaşık altı aylık bir çip geliştirme döngüsüne sahip olmasını sağlıyor ki bu da sektördeki bir ila iki yıllık tipik döngüden çok daha hızlı.
Yazılım tarafında ise MTIA, PyTorch, vLLM ve Triton üzerinde doğrudan çalışabiliyor. Ayrıca, üretim modellerinin MTIA'ya özgü yeniden yazımlara gerek kalmadan hem GPU'larda hem de MTIA'da eş zamanlı olarak dağıtılabilmesi için torch.compile ve torch.export desteği sunuyor. Meta, halihazırda kendi uygulamalarında organik içerik ve reklamlar için çıkarım yapmak üzere yüz binlerce MTIA çipi kullandığını belirtti.
Bu gelişmeler, Meta'nın yakın zamanda AMD ile imzaladığı 100 milyar dolarlık yapay zeka altyapısı anlaşmasının ardından geldi. Bu durum, Meta'nın yapay zeka yığınında Nvidia'ya olan bağımlılığını azaltma çabasında olduğunu ve MTIA yongalarını çıkarım iş yüklerinin merkezine yerleştirmeyi hedeflediğini gösteriyor.
