Bellek (DRAM) piyasasındaki mevcut sıkıntılar, yapay zeka alanında faaliyet gösteren dev şirketleri, ihtiyaç duydukları hafızaya ulaşmak için alışılmadık çözümlere yöneltiyor. Google'ın, elden çıkardığı sunuculardan topladığı DDR4 bellek modüllerini yeni yapay zeka sunucularında yeniden kullanma yöntemi de bu duruma çarpıcı bir örnek teşkil ediyor.
Google, Emektar Sunuculardaki DDR4'leri Değerlendirerek İçsel Bir Geri Dönüşüm Zinciri Oluşturuyor
Google'ın tedarik zinciri altyapısından sorumlu üst düzey yöneticisi Nikhil Cherian, yakın zamanda katıldığı bir zirvede yaptığı açıklamada, yapay zeka sektörünün hızla işlem gücü kısıtlılığından bellek kısıtlılığına geçtiğini belirtti. Yüksek performanslı belleklerin, yapay zeka sunucularının toplam maliyetinin yaklaşık yüzde 75'ini oluşturduğunu ifade etti.
Cherian'a göre, "bellek darboğazını aşmak için Google, hem yazılım hem de donanım çözümleri üzerinde eş zamanlı olarak çalışıyor". Bu doğrultuda, elden çıkarılan sunucularını sökerek geri dönüştürülebilir bileşenlerini kurtaran şirket, bu yolla içsel bir geri dönüşüm tedarik zinciri kurmuş oluyor.
Hatta Google, önceki nesil DDR4 gibi bellek çözümlerinin yeni nesil yapay zeka sunucularına bağlanabilmesi için özel donanım adaptörleri tasarlamış durumda. Cherian, Google'ın bu amaçla elden çıkardığı sunucuları özellikle DDR4 modüllerini ayırmak için yeniden devreye aldığını kabul etti.
Aynı zamanda teknoloji devi, işlem gücü başına bellek kullanımını azaltmak amacıyla temel fonksiyon kütüphanesini, model mimarisini ve KV Önbellek sıkıştırmasını optimize etmeye devam ediyor.
Bilgilendirme açısından, Google bu yıl TPU ASIC'in iki farklı versiyonunu piyasaya sürdü: TPU8t yapay zeka modelini eğitmek için tasarlanırken, TPU8i çıkarım (inference) işlemleri için optimize edildi.
Dolayısıyla, Google'ın TPU8i'si, performans darboğazlarını ortadan kaldırmak için oldukça gelişmiş, özelleşmiş bellek katmanlarından yararlanıyor:
- Her TPU 8i çipi, 288 GB HBM3e ile donatılmış olup, 8.6 TB/s gibi ultra hızlı bir bellek bant genişliği sunuyor.
- ASIC ayrıca, harici sistem RAM'ini sorgulama ihtiyacını ortadan kaldırarak aktif anahtar-değer (KV) önbelleğini depolamak için 384 MB çip içi SRAM entegre ediyor.
- TPU 8i sunucuları, veri ön işleme gibi ana makine düzeyindeki görevler için yüksek hızlı DDR5 bellek mimarisine dayanan Google'ın özel, Arm tabanlı Axion işlemcileriyle eski x86 ana makine işlemcilerini tamamen değiştiriyor.
Ancak Cherian'ın son açıklaması ışığında, Google'ın yeni yapay zeka sunucularında, en azından bazı durumlarda, DDR5 modülleri yerine daha eski DDR4 bellekleri kullanmak zorunda kaldığı anlaşılıyor.
