Yapay zeka dünyasında NVIDIA'nın en büyük rakibi, tahminlerin aksine AMD veya Intel değil, hızla yükselen Google olarak karşımıza çıkıyor. Hatta NVIDIA CEO'su Jensen Huang'ın da bu durumun farkında olduğu belirtiliyor.
Bu durum ilk bakışta şaşırtıcı gelebilir, ancak Google yapay zeka donanımları alanında ilk yarışmacılardan biri. 2016 yılında ilk özel yapay zeka çipi TPU'yu tanıtan şirket, bu alanda NVIDIA, AMD ve Intel'den çok daha önce harekete geçmişti. Teknoloji devi geçtiğimiz hafta "7. nesil" Ironwood TPU'larını duyurdu. Bu gelişme, "NVIDIA vs. Google" rekabetini yapay zeka alanındaki en çetin mücadele haline getirdi. Şimdi, Google'ın en yeni Ironwood TPU'larının NVIDIA'nın çözümleriyle nasıl karşılaştırıldığına yakından bakalım.
Google Ironwood TPU'lar: Muazzam 192 GB HBM ve Nesiller Arası Performansta Önemli İyileştirmeler
Önümüzdeki haftalarda çeşitli iş yüklerinde kullanıma sunulması beklenen Google Ironwood TPU'lar hakkında konuşalım. Şirket, bu çipi "çıkarım odaklı" bir seçenek olarak tanımlıyor ve genel amaçlı hesaplamada çıkarım performansında yeni bir çağ başlatacağını iddia ediyor. TPU v7 (Ironwood), model eğitimi yerine çıkarım aşamasındaki artıştan faydalanmak üzere konumlandırılmış. Bu nedenle, "çıkarım çağı"nda üstünlük sağlamak için tasarlanmış dahili özelliklere sahip. İşte öne çıkan bazı özellikleri:
- TPU v5p'ye göre 10 kat daha yüksek tepe performansı.
- Eğitim ve çıkarım iş yüklerinde TPU v6e (Trillium) ile karşılaştırıldığında çip başına 4 kat daha iyi performans.
- Google tarafından bugüne kadar üretilen en güçlü ve enerji verimli özel silikon.
Şimdi Ironwood çipinin teknik detaylarına indiğimizde, Google'ın 7.4 TB/s hızında 192 GB HBM bellek ve çip başına devasa 4.614 TFLOPs tepe işlem gücü kullanmayı planladığı görülüyor. Bu, TPUv4'e kıyasla yaklaşık 16 kat bir artış anlamına geliyor. Daha da önemlisi, Ironwood'un TPU Superpod'u ile şirket, pod başına 9.216 çip kullanarak, FP8 hesaplama iş yüklerinde toplamda 42.5 exaFLOPS'luk bir toplu performans elde ediyor. SuperPod'daki çip sayısı, Google'ın etkili bir ara bağlantı çözümüne sahip olduğunu ve ölçeklenebilirlik açısından NVLink'i geride bıraktığını gösteriyor.
Ara bağlantıdan bahsetmişken, Google ölçek büyütme ağı olarak InterChip Interconnect'i (ICI) kullanıyor. Bu ağ, 1.8 Petabaytlık bir ağ ile birbirine bağlı 43 blok (her blok 64 çipten oluşur) Superpod ile tüm ölçeklere ulaşmalarını sağlıyor. Dahili iletişim, çeşitli ağ arayüz kartları (NIC'ler) kullanılarak yönetiliyor. Google, TPU'ları için 384 adet 3D Torus düzenini kullanıyor, bu da çok sayıda çip arasında yüksek yoğunluklu ara bağlantı sağlıyor. Ölçeklenebilirlik ve ara bağlantı yoğunluğu açısından NVLink'e karşı Google'ın üstünlüğü, SuperPod'u yıkıcı bir teklif haline getiriyor.
Google'ın ASIC Hedefleri: NVIDIA'nın Yapay Zeka Hakimiyeti İçin Gerçekten "Ölümcül" mü?
Ironwood TPU'larının çıkarım çağı açısından neden bu kadar önemli olduğunu inceleyelim. Ancak bundan önce, "düşünen modellerin" neden bir sonraki büyük şey olduğunu belirtmekte fayda var. Model eğitimi, yapay zeka endüstrisindeki baskın eğilim olmuştu ve bu nedenle NVIDIA'nın hesaplama portföyü, eğitim ortamlarına uygun senaryolarda daha iyi performans sunmasıyla büyük teknoloji şirketleri için birincil seçenek haline gelmişti. Ancak, yaygın modeller artık konuşlandığı için, çıkarım sorgularının sayısı eğitim görevlerinin sayısını büyük ölçüde aşabilir.
Şimdi, çıkarımda sadece en yüksek "TFLOPs" değerini elde etmek söz konusu değil; bunun yerine gecikme süresi, verimlilik, maliyet ve sorgu başına maliyet gibi diğer metrikler önem kazanıyor. Bu nedenle, Google'ın Ironwood ile sunduğu çözümlere baktığınızda, "Google'ın yapay zeka yarışında NVIDIA'yı geçme" fikri çok daha belirgin hale geliyor. Öncelikle, Ironwood, NVIDIA'nın Blackwell B200 yapay zeka GPU'larına eşdeğer devasa yonga üstü belleğe sahip. Ancak, SuperPod kümesinin tek bir ortamda 9.216 çip barındırdığını hesaba kattığınızda, mevcut bellek kapasitesi önemli ölçüde artıyor.
Yüksek bellek, çıkarım için büyük önem taşıyor, çünkü çip arası iletişim yükünü azaltıyor ve büyük modeller için gecikme süresini iyileştiriyor. Bu da Ironwood'u daha cazip bir seçenek haline getiren nedenlerden biri. Ironwood'un mimarisi özellikle çıkarım için tasarlanmış durumda, bu da Google'ın düşük gecikme süresi ve yüksek güç verimliliğine odaklandığı anlamına geliyor. Güç verimliliği, Ironwood'un potansiyel başarısının arkasındaki "ikinci en önemli faktör" olarak öne çıkıyor.
Hiper ölçekli çıkarımlar için, 7/24 çalışan bir ortamda binlerce çipe ihtiyaç duyulur. Bulut hizmeti sağlayıcıları (CSP'ler), çıkarım aşamasına gelindiğinde elde ettikleri performanstan çok, dağıtım ve işletme maliyetlerine odaklanma eğilimindedir. Bu nedenle Google, Ironwood ile önceki nesillere göre 2 kat daha yüksek güç verimliliği elde etmiş durumda. Bu da Google'ın TPU'larının çıkarım iş yüklerinde dağıtımını daha mantıklı bir hareket haline getiriyor.
Yapay zeka alanındaki yarış, "kimin daha fazla FLOPs'u var"dan, "kim daha düşük gecikme süresiyle, daha düşük maliyetle ve daha az güçle daha fazla sorguyu işleyebilir"e doğru değişiyor. Bu durum, Google'ın erken yakalamaya çalıştığı NVIDIA için yeni bir rekabet ekseni açıyor. Daha da önemlisi, Ironwood'un yalnızca Google Cloud üzerinden sunulacağı söyleniyor. Bu durum, NVIDIA'nın uzun süredir devam eden yapay zeka hakimiyetine "ölümcül" bir darbe indirebilecek bir ekosistem kilidi oluşturabilir. Google'ın TPU'larının her yeni sürümde daha rekabetçi hale geldiği ve bu durumun NVIDIA cephesinde "alarm zilleri" çalması gerektiği şüphesizdir.
Elbette NVIDIA da çıkarım alanındaki gelişmeler karşısında sessiz kalmıyor. Yeni Rubin CPX ile "kabin ölçeğinde çözümler" sunmayı planlıyor, ancak zamanla Google'ın NVIDIA için "gerçek rakip" konumuna yerleştiği ve Intel ile AMD'nin şimdilik geride kaldığı açıkça görülüyor.
Ve işte Jensen Huang'ın geçmişte Google'ın TPU'ları hakkında neler söylediği. Kendisi, Google'ın özel silikonlarının rekabetçi bir teklif olduğunu kesinlikle biliyor.
