Google, yapay zeka alanındaki üstünlüğünü pekiştirmek için en yeni Tensor İşlem Birimi (TPU) ailesini iki yeni modelle genişletti: TPU 8tx ve TPU 8i Max. Bu yeni çipler, özellikle ajan tabanlı iş yükleri için geliştirilmiş performans ve güvenlik sunarken, TPU 8i Max ise hafıza duvarı sorununa yenilikçi bir çözüm getirmeyi hedefliyor.
Google'ın TPU 8t ve TPU 8i Çiplerine Genel Bakış
Google'ın TPU 8t çipi, merkezi bir Mantık yongası, özel bir SerDes yongası ve birden fazla yüksek bant genişlikli bellek yığınını fiziksel olarak entegre eden "Zebra paketi" içinde yer alıyor.
TPU 8t Hesaplama ve İşleme Birimleri
Google'ın TPU 8t'si öncelikli olarak yapay zeka modellerini eğitmek için tasarlanmıştır. TPU 8t'nin çekirdek hesaplama motoru, merkezi bir Vektör İşlem Birimi (VPU) ile Vektör Belleği (Vmem) özelliğine sahip olan TensorCore'dur. Bu merkezi hub, iki Matris Çarpma Birimi (MXU), iki Genişletilmiş Mantık Birimi (XLU) ve bir Tensor Çekirdek Sistemi (TCS) bloğuna bağlanır.
Yayınlanan teknik özelliklere göre, MXU'lar yerel 4-bit kayan nokta (FP4) desteği sunarak, çip başına 12.6 PetaFLOPS FP4 hesaplama gücü ile iki katına çıkan bir performans sunuyor ve enerji yoğun veri hareketini en aza indiriyor. Mimari, VPU ve MXU ölçeklendirmesini dengelerken, softmax gibi vektör işlemleri matris çarpımı ile örtüşerek donanım kullanımını en üst düzeye çıkarıyor.
Ana TensorCore'un ötesinde, Mantık yongası ayrıca iki adet özel Seyrek Çekirdek barındırıyor. Bu özel hızlandırıcılar, gömme aramalarında yaygın olarak karşılaşılan veri bağımlı, düzensiz bellek erişim modellerini boşaltmak için tasarlanmıştır ve karmaşık operasyonlar sırasında genel amaçlı çiplerde yaşanan darboğazları önler.
TPU 8t'nin Bellek Alt Sistemi
Bellek yönlendirmesi, hesaplama elemanlarını altı ayrı HBM3E denetleyicisine bağlayan merkezi bir "Bellek ve DMA ara bağlantısı" tarafından yönetilir. Bu denetleyiciler, aynı paket içinde bulunan altı bitişik 8 katmanlı HBM3E bellek yığınına doğrudan bağlanır. Teknik özellikler, bu yapılandırmanın çip başına 216 GB ile 288 GB arasında yüksek bant genişlikli bellek sağladığını ve 6.5 TB/s ile 8.6 TB/s arasında inanılmaz hızlarda çalıştığını gösteriyor. Ek olarak, çip 128 MB yerleşik SRAM içererek kritik parametre katmanlarını hesaplama elemanlarına fiziksel olarak yakın tutuyor.
Ara Bağlantı, Ana Bilgisayar Entegrasyonu ve Ağ Oluşturma
İş yüklerini ölçeklendirmek ve harici sistemlerle iletişim kurmak için TPU 8t, bir ICR Yönlendiricisi ve iki adet "3x Bağlantı Yığını + MAX2 PHY" bloğunu içeren bir Ara Bağlantı (ICI) modülü kullanır. Bu ICI modülü, çip dışı SerDes bileşenine doğrudan bağlanır ve çipten çipe muazzam veri aktarım hızlarını yönetmek için 6x224G SerDes okulları ile donatılmıştır.
Ana bilgisayar ve yönetim bağlantıları için Mantık yongası, Ana Bilgisayara doğrudan bağlanan bir PCIe Gen5 x16 arayüzüne ve bir gBMC'ye bağlı ikincil bir PCIe Gen2 x1 bağlantısına sahiptir. Özel bir "Çip Yöneticisi" çip düzeyindeki işlemleri denetler. Sistem düzeyinde Google, karmaşık veri ön işlemesini yönetmek için bu TPU'ları Arm tabanlı Axion CPU'larla eşleştirerek, TPU'ların ana bilgisayar tarafındaki gecikmeden etkilenmeden sürekli olarak veri akışını sağlamasını garanti eder.
Google'ın TPU 8i'si de donanımı merkezi bir Mantık yongası ve özel bir SerDes yongası olarak bölen "Zebra paketi"ne sahiptir.
TPU 8i Hesaplama ve İşleme Birimleri
Google'ın TPU 8i'si özellikle çıkarım (inference) iş yükleri için tasarlanmıştır. Mantık yongası oldukça yoğun bir hesaplama gücüne sahip olup, iki ayrı TensorCore içerir. Her TensorCore içinde, merkezi bir Vektör İşlem Birimi (VPU) ve Vektör Belleği (Vmem) bloğu, iki Matris Çarpma Birimi (MXU), iki Genişletilmiş Mantık Birimi (XLU) ve bir Tensor Çekirdek Sistemi (TCS) bloğuna bağlıdır. Yayınlanan performans ölçütleri, bu çift çekirdekli yapılandırmanın TPU 8i'nin 10.1 PetaFLOPS tepe FP4 hesaplama performansı sunmasını sağladığını gösteriyor.
TPU 8i İçin Bellek Alt Sistemi
Çıkarım iş yükleri için gereken yüksek hızlı veri iletimini yönetmek amacıyla, bellek alt sistemi Mantık yongası üzerinde iki ayrı "Bellek ve DMA ara bağlantısı" modülü kullanır. Her ara bağlantı bloğu, dört adet HBM3 denetleyicisine veri yönlendirir ve her denetleyici özel bir 8 katmanlı HBM3E bellek yığınına bağlanır. Bu, doğrudan pakete entegre edilmiş toplam sekiz adet HBM3E bellek yığını ile sonuçlanır.
Bu sayede Google'ın TPU8i'si, performans darboğazlarını ortadan kaldırmak için yüksek düzeyde gelişmiş, özel bellek katmanlarından yararlanır:
- Her TPU 8i çipi, 8.6 TB/s ultra hızlı bellek bant genişliği sağlayan 288 GB HBM3e ile donatılmıştır.
- ASIC ayrıca, harici sistem RAM'ini sorgulama ihtiyacını ortadan kaldıran aktif anahtar-değer (KV) önbelleğini depolamak için 384 MB yerleşik SRAM içerir.
- TPU 8i sunucuları, eski x86 ana bilgisayar işlemcilerini, veri ön işleme gibi ana bilgisayar düzeyindeki görevler için yüksek hızlı DDR5 bellek mimarisine dayanan Google'ın özel, Arm tabanlı Axion işlemcileriyle tamamen değiştirir.
Ana Bilgisayar Entegrasyonu ve Ağ Oluşturma
Mantık yongası, Ana Bilgisayara bağlı bir PCIe Gen5 x16 arayüzü ve bir gBMC'ye bağlı bir PCIe Gen2 x1 bağlantısı aracılığıyla ana bilgisayar iletişimlerini yönetir; tümü özel bir "Çip Yöneticisi" tarafından denetlenir. Güçlü çip içi ağ oluşturma için Mantık yongası, bir ICI Yönlendiricisi, bir 6x Bağlantı Yığını ve bir SC-CAE bloğunu içeren bir Ara Bağlantı (ICI) modülüne sahiptir. Bu ICI modülü, harici SerDes yongasıyla sorunsuz bir şekilde bağlantı kurar ve Google'ın özel topolojilerinde büyük miktarda çip dışı veri transferini yönetmek için 6x200G SerDes okulları ve bir Fiziksel Kodlama Alt Katmanı (PCS) içerir.
Bu, Google'ın Tek Bir Yılda Dört Yeni TPU Tanıttığı İlk Sefer
Bugünkü konumuzun özüne gelirsek. Google, TPU v8 ailesinin iki yeni varyantı olan TPU 8tx ve TPU 8i Max'i tanıttı. TPU 8tx'in TPU 8t'nin değiştirilmiş bir sürümü olduğunu ve TPU 8i Max'in tek bir pakette iki TPU 8i çipini birleştirdiğini unutmayın.
TPU 8tx, gizli çıkarım (confidential inference) ve ajan tabanlı iş yüklerini hedefliyor ve TPU 8t silikonunu özel AMD CPU ana bilgisayarlarıyla eşleştirerek, işlem sırasında verileri ve model ağırlıklarını korumak için donanım düzeyinde gizli bilgi işlem yetenekleri ekliyor.
TPU 8tx ayrıca, TPU 8i için geliştirilen Boardfly ağını da benimsiyor. Google'a göre, tüm bu değişiklikler, geliştirilmiş güvenlik yeteneklerine karşı neredeyse sıfır performans cezasıyla, TPU 8t'ye göre iki katına kadar performans sunuyor.
Bu arada, TPU 8i Max, ajan tabanlı iş yüklerinin ve milyonlarca token bağlamının aşırı bellek taleplerini karşılamayı amaçlıyor. Google'a göre, TPU 8i Max'in çift çipli paketlemesi, TPU 8i'nin hesaplama, SRAM ve HBM bant genişliğinin 2 katını sunuyor. Ayrıca, TPU 8i Max, TPU 8i ile kabaca aynı raf ayak izine sahip olduğundan, Google bu yeni çiple sunduğu hesaplama yoğunluğunu önemli ölçüde iki katına çıkarmış oluyor.
Bu aynı zamanda TPU 8i Max'in şaşırtıcı derecede 768 MB SRAM sunduğu anlamına geliyor. Google'ın bu çipte bulunan HBM miktarını doğrulamadığını unutmayın.
Daha fazla haberimiz için Google'da bizi takip edin.
Kaynakça: wccftech.com
