Yapay zeka (YZ) alanındaki hızlı ilerlemeler, beraberinde devasa veri işleme gücü gerektiren sistemleri getiriyor. Bu sistemlerin başında gelen Nvidia'nın GB300 NVL72 ölçekli YZ sistemi, özellikle soğutma bileşenleriyle dikkat çekiyor. Elde edilen bilgilere göre, bu sistemin sıvı soğutma bileşenlerinin toplam maliyeti yaklaşık 49 bin 860 doları buluyor.
Nvidia'nın bir sonraki nesil NVL144 ölçekli çözümünde ise bu maliyetin daha da artması bekleniyor. Yapılan analizlere göre, daha güçlü Vera Rubin GPU'lar ve NVLink anahtarları nedeniyle soğutma sisteminin maliyetinde yüzde 17'lik bir artış öngörülüyor ve bu tutarın 55 bin 710 dolara ulaşacağı belirtiliyor.
Nvidia'nın 'Oberon' olarak da bilinen NVL72 rafının soğutma sisteminin malzeme listesi (BOM) maliyeti 49 bin 860 dolar olarak hesaplanmış durumda. Bu raf, her biri en az 6.6kW güç tüketen 18 adet hesaplama tepsisi ve 9 adet anahtar tepsisi içeriyor. Hesaplama tepsilerinin soğutma içeriği yaklaşık 2.260 dolar değerindeyken, 18 tepsi için bu maliyet 40.680 dolara ulaşıyor. Anahtar tepsilerinin soğutma maliyeti ise tepsi başına 1.020 dolar, toplamda ise yaklaşık 9.180 dolar olarak belirlenmiş.
YZ sunucularında en pahalı soğutma bileşenlerinin, CPU ve GPU'lar için özel olarak üretilmiş yüksek performanslı soğutma plakaları olduğu belirtiliyor. Bu plakaların birim maliyeti 300 dolar civarındayken, NVSwitch ASIC'leri için olanlar ise 200 dolar olarak fiyatlandırılmış.
Vera Rubin NVL144 platformunda termal yükün daha da artması bekleniyor. Daha yüksek ısı üreten Vera CPU'lar, Rubin GPU'lar (birim başına 1.800W'a kadar) ve yeni nesil NVSwitch 6.0 ASIC'ler sayesinde, GB300 için olan soğutma sistemine kıyasla yüzde 17'lik bir artışla raf ölçekli soğutma sisteminin maliyetinin 55 bin 710 dolara çıkacağı öngörülüyor.
Yapılan tahminlere göre, hesaplama tepsilerinin soğutma sistemi maliyeti yüzde 18 artarak tepsi başına 2.660 dolara yükselecek. Bu da raf başına toplam hesaplama soğutma maliyetini 47.880 dolara çıkaracak. Tepsi sayısı değişmese de, her tepsi artık birim maliyeti 400 dolar olan daha yüksek kapasiteli soğutma plakaları içerecek. Anahtar tepsisi soğutma sisteminde ise maliyetin düşmesi bekleniyor; tepsi başına 870 dolar ve raf başına 7.830 dolar.
CPU ve GPU'ların performans artışıyla birlikte güç tüketimleri de artıyor. Bu durum, daha gelişmiş soğutma çözümlerini zorunlu kılıyor. GB200 NVL72'den GB300 NVL72'ye (%20 soğutma sistemi artışı) ve GB300 NVL72'den Vera Rubin NVL144'e (%17 artış) geçişler, bu eğilimin belirgin bir göstergesi.
Rubin Ultra GPU'larla birlikte Nvidia, paket başına dört hesaplama ve 16 HBM4E çipletine geçiş yapacak. Bu da TDP'yi 3.600W'a çıkaracak ve bazı kullanım durumları için yeni soğutma plakaları veya daldırma/gömülü soğutma çözümlerinin kullanılmasını gerektirecek. Nvidia'nın kendisi de 144 GPU paketiyle Vera Rubin NVL144'ün iki katı performans sunacak, ancak çok daha yüksek termal çekiş maliyetine sahip olacak şekilde, hepsi sıvı soğutmalı yeni bir NVL576 'Kyber' raf ölçekli çözümü üzerinde çalışıyor. Nvidia'nın Rubin Ultra GPU'ları için özel soğutma plakaları ve soğutma sistemindeki diğer geliştirmeler, NVL576'nın soğutma sisteminin maliyetini muhtemelen daha da artıracak. Birim başına 3.6kW termal enerjiyi bir GPU paketinden uzaklaştırabilen yüksek performanslı soğutma plakalarının kesinlikle 400 doların üzerinde bir maliyete sahip olacağı düşünülüyor.
