Yapay zeka modellerinin geliştirilmesine tam olarak odaklanan birçok şirket Nvidia'nın AI hızlandırıcılarından stok yapmaya çalışırken, Google farklı bir yol izliyor. Şirket, bulut tabanlı yapay zeka altyapısının büyük bir kısmını kendi özel Tensor İşlem Birimi (TPU) serisine dayandırıyor. 2025 yılında yedinci nesil Ironwood TPU'yu tanıtan Google, şimdi ise sekizinci nesil sürüme geçiş yaptı. Ancak bu sadece daha hızlı bir çip değil, daha fazlasını vadediyor.
Yeni TPU'lar iki farklı modelle geliyor: TPU 8t (eğitim için) ve TPU 8i (çıkarım için). Google'a göre bu yeni işlemciler, hem Google'a hem de müşterilerine daha hızlı ve daha verimli bir yapay zeka platformu sunuyor. Şirket, "ajanlar dönemi" olarak adlandırdığı bu yeni yapay zeka çağının, daha önceki yapay zeka sistemlerinden temelde farklı olduğunu ve donanım açısından yeni bir yaklaşım gerektirdiğini vurguluyor.
Yapay zeka modelleri, veri analizi yapmadan veya eğlenceli içerikler üretmeden önce eğitilmeleri gerekiyor. TPU 8t, yapay zeka yaşam döngüsünün bu aşaması için özel olarak tasarlandı ve en gelişmiş yapay zeka modellerinin eğitim süresini aylardan haftalara indirmeyi hedefliyor.
Güncellenen Tensor 8t sunucu kümeleri, Google'ın "pod" olarak adlandırdığı yapılar, artık 9600 çip ve iki petabayt paylaşımlı yüksek bant genişliğine sahip bellek barındırıyor. Google, TPU 8t'nin tek bir mantıksal kümede bir milyon çipe kadar lineer olarak ölçeklenebileceğini iddia ediyor. Bu tür yenilikler, devasa yapay zeka modellerini çok daha hızlandırırken, aynı zamanda diğer herkes için RAM fiyatlarını da artırıyor. Ancak devasa yapay zeka modelleri oluşturanlar için bu donanım, zamandan tasarruf sağlıyor. Her bir pod, yaklaşık 121 FP4 EFlops işlem gücü sunarak, Ironwood'un eğitim işlem gücü tavanının neredeyse üç katına ulaşıyor.
Yeni çipler daha hızlı eğitim sağlarken, Google aynı zamanda her bir TPU 8t'ye verilen güç başına daha kullanışlı hesaplama elde edildiğini belirtiyor. Şirket, yüzde 97'lik bir "iyi hesaplama" (goodpute) oranı talep ediyor. Bu, daha az bekleme ve boşa harcanan çaba anlamına geliyor. Düzensiz bellek erişimini daha iyi ele alması, donanım arızalarını otomatik olarak yönetmesi ve tüm bağlı çiplerde gerçek zamanlı telemetri sunması sayesinde TPU 8t, model eğitimini ilerletmek için daha fazla zaman harcıyor.
Eğitim tamamlandıktan sonra, yapay zeka modelleri çıkarım modunda çalışarak jetonlar üretir. Bu, bir modele bir şey yaptırmasını söylediğinizde arka planda gerçekleşen işlemdir. Bu işlem daha az işlem gücü gerektirir, bu nedenle yapay zeka yaşam döngüsünün her iki bölümü için de aynı donanımı kullanmak verimsizdir. Bu nedenle çıkarım, TPU 8i'nin alanına giriyor. TPU 8i, daha az bekleme süresiyle birden fazla özelleşmiş ajanı çalıştırmada daha verimli olacak şekilde tasarlandı. TPU 8i çipleri, önceki nesil Ironwood çıkarım kümelerindeki 256 çipe kıyasla 1.152 çipten oluşan daha büyük podlarda çalışıyor. Bu, pod başına 11.6 EFlops işlem gücü anlamına geliyor ki bu da TPU 8t podlarından önemli ölçüde düşük.
Google, her bir TPU 8i için çip üzerindeki SRAM miktarını 384 MB'a çıkardı. Bu, şirketin yeni çiplerinin daha büyük bir anahtar-değer önbelleğini çipte tutmasına olanak tanıyarak, daha uzun bağlam pencerelerine sahip modelleri hızlandırıyor. Sekizinci nesil AI hızlandırıcılar aynı zamanda Google'ın özel Axion ARM CPU'sunu kullanan ilk hızlandırıcılar olma özelliğini taşıyor; her iki TPU için bir adet CPU bulunuyor. Ironwood'da ise her x86 CPU dört TPU çipine hizmet ediyordu. Google, bu "tam yığın" ARM tabanlı yaklaşımın çok daha yüksek verimlilik sağladığını belirtiyor.
Verimlilik Odaklı Bir Hamle
Google'ın yeni TPU kurulumunun temelinde verimliliğin yer alması oldukça mantıklı. En gelişmiş yapay zeka modellerini eğitmek ve çalıştırmak pahalıdır ve yatırımın geri dönüşü henüz tam olarak net değil. Şirketler, verimliliğin bir noktada durumu tersine çevireceği umuduyla üretken yapay zeka alanında hala para harcıyor. Belki Google'ın yeni TPU'ları bu amaca ulaşılmasına yardımcı olur, belki de olmaz. Ancak şirket, dikkate değer iyileştirmeler yapmış.
Üretken yapay zeka sistemleri çok fazla güç tüketir ve bu genellikle onları kullanmama nedenlerinden biri olarak gösterilir. Sekizinci nesil TPU'lar aşırı derecede az güç tüketmese de, Google çiplerin Ironwood'a kıyasla watt başına iki kat daha fazla performans sunduğunu iddia ediyor. Google ayrıca TPU'larla "birlikte tasarlanan" veri merkezlerindeki iyileştirmeleri de öne çıkarıyor. Tek bir çipte ağ oluşturmayı hesaplama ile entegre etmek ve daha verimli pod düzenleri gibi özellikler, birim elektrik başına hesaplama gücünü altı kat artırmış. Elbette bu, veri merkezlerinin daha az güç kullanacağı anlamına gelmiyor, sadece kullandıkları tüm güç için daha fazla hesaplama elde edecekleri anlamına geliyor.
Veri merkezlerinin soğutulması için su kullanımı da büyük bir verimlilik endişesi. Yapay zeka sunucularının yoğun hesaplama gereksinimlerinden kaynaklanan ısı, hava ile dağıtılamaz, bu nedenle sıvı soğutma tek seçenektir. Google, dördüncü nesil sıvı soğutma kurulumunu yeni çipler için uyarlamış ve iş yüküne göre su akışını ayarlamak için aktif olarak kontrol edilen vanalar kullanıyor. Yine, bu daha verimli olması bekleniyor.
TPU 8t ve TPU 8i, gelecekte Google'ın Gemini tabanlı ajanlarına güç verecek, ancak aynı zamanda üçüncü taraf geliştiriciler de düşünülerek tasarlandı. Her iki yeni TPU da JAX, MaxText, PyTorch, SGLang ve vLLM gibi geliştiricilerin zaten kullandığı çerçeveleri destekliyor.
Google'ın duyurusunun ardından Nvidia'nın hisse senedi fiyatı kısa süreliğine yaklaşık yüzde 1.5 düştü, ancak daha sonra toparlandı ve hisse başına 200 doların üzerine çıktı. Yapay zeka hızlandırıcılarına olan talepteki artış, Nvidia'nın değerini geçen yıla göre iki katından fazla artırdı ve Google'ın kazançları daha da büyük oldu. Bu, yapay zeka balonunun potansiyelinin doğası. Elbette en çok fayda sağlayan şirketler bunu bir balon olarak görmüyor; bu, ajans tabanlı bir yapay zeka geleceğinin başlangıcı olarak görüyorlar.
