Doğru soğutmanın donanımın ömrünü uzattığı ve tam potansiyelini ortaya çıkarmasını sağladığı bir sır değil. Yapay zeka (YZ) veri merkezlerindeki donanımlar içinse doğru soğutma, doğrudan gelir anlamına gelen daha yüksek ve sürdürülebilir performans demektir. Yarı iletken üretim standartlarında çözümler geliştiren Frore Systems, yeni nesil YZ hızlandırıcılarının sıcaklığını düşürmek ve performanslarını %15 artırmak için yenilikçi bir yol sunuyor.
Frore Systems tarafından yayımlanan bir teknik rapor, soğutma sistemindeki iyileştirmelerin (GPU paketlemesi, termal arayüz malzemeleri, soğuk plakalar ve soğutucu akışkan sıcaklıkları gibi) watt başına üretilen token miktarını %30'dan fazla artırabileceğini ortaya koyuyor. Şirketin analitik termal modellemelerine dayanarak yaptığı en iddialı öngörülerden biri ise LiquidJet soğuk plaka teknolojisinin, Nvidia Rubin GPU'larının birleşim (junction) sıcaklıklarını 12°C'ye kadar düşürebileceği ve bunun da watt başına token üretiminde %10 ila %25 arasında bir artış sağlayacağı yönünde. Özellikle 10°C'lik bir sıcaklık düşüşü, token üretimini yaklaşık %15 oranında artırabilir.
Günümüz YZ hızlandırıcıları, örneğin yakında çıkacak olan Nvidia Rubin, 2400W'a kadar güç tüketebiliyor ve çip (die) sıcaklıkları kolayca 95°C'ye ulaşabiliyor. 95°C çip ömrü için doğrudan bir sorun olmasa da, artan kaçak akım (leakage current) ciddi bir problem. Kaçak akım, sıcaklıkla üstel olarak artar; maksimum birleşim sıcaklığındaki her 10°C'lik artışta yaklaşık iki katına çıkar. Bu durum, transistörlerin anahtarlama verimliliğini de düşürür. Sonuç olarak, daha sıcak GPU'lar daha yüksek voltaj gerektirir ve bu da termal sınırlara uyum sağlamak için performansı düşüren dinamik voltaj ve frekans ölçeklendirme (DVFS) mekanizmalarını tetikler.
Tüm bunlar basit bir sonuca işaret ediyor: Soğutma ne kadar iyiyse, performans ve üretilen token miktarı o kadar yüksek olur. Ancak soğutma, optimize edilebilecek birçok faktöre bağlı olarak sanıldığı kadar basit bir konu değil. Özellikle YZ veri merkezlerinde soğutma, artık sadece bileşenleri aşırı ısınmadan koruma yöntemi değil, doğrudan performanslarını ve buradan elde edilen geliri maksimize etme aracı haline gelmiştir.
Nvidia, platformlarını maksimum çip sıcaklığı (Tj(max)) etrafında tasarlar. Bu, GPU'nun, paketinin ve soğutma çözümünün temel tasarım kısıtlamalarından biridir. Süreç şu şekilde işler:
- Nvidia, normal operasyon sırasında silikonun aşmaması gereken maksimum birleşim sıcaklığını (Tj,max limiti) belirtir. Bu değer her zaman kamuya açıklanmasa da, Frore analizlerinde Rubin için 95°C'yi baz alıyor.
- GPU, üzerindeki yüzlerce termal sensör aracılığıyla birleşim sıcaklığını sürekli izler; güç yönetimi en sıcak bölgeyi takip eder.
- DVFS, termal ve güç sınırları dahilinde kalarak performansı en üst düzeye çıkarmaya çalışır. GPU'nun termal boşluğu varsa, daha yüksek saat hızlarını sürdürebilir veya daha düşük voltaj kullanabilir. Birleşim sıcaklığı yükselirse, firmware voltajı ve frekansı kademeli olarak ayarlar. Gerekirse, Tj(max)'ı aşmasını önlemek için performansı düşürür (throttle).
Sorun şu ki GPU'lar, termal limit (Tj,max), paket güç limiti, akım limiti ve voltaj limiti gibi birden fazla sınırlama altında çalışır. Genellikle termal limit yerine güç limitine önce ulaşılır. Modern soğutma sistemleri, silikonun Tj(max)'a ulaşmasını engellemek için tasarlanır. Ancak GPU'lar Tj(max)'a ulaşmasa bile, çalışma birleşim sıcaklığının düşürülmesi, transistör kaçak akımının azalması nedeniyle verimliliği artırır. İşte burada Frore ve soğutma sistemleri devreye giriyor.
Frore'ye göre, birleşim sıcaklığındaki her 10°C'lik artış için kaçak güç yaklaşık iki katına çıkarken, transistör anahtarlama gücü aynı sıcaklık aralığında yalnızca yaklaşık %2 artar. Bu da işlemci termal olarak kısıtlanmadığında bile çalışma sıcaklıklarının düşürülmesinin faydalı olduğunu gösterir.
Termal Direnç
Frore'ye göre, donanım üreticileri tarafından kullanılan maksimum GPU birleşim sıcaklığı, basit görünen bir denklemle belirlenir:
Tj(max) = Tinlet + Q × Rtotal
Burada soğutucu akışkan giriş sıcaklığı, GPU gücü ve toplam termal direnç, silikonun ne kadar ısınabileceğini belirler. Toplam termal direnç ise üç ana unsura bağlıdır: GPU paketi, paket ile soğuk plaka arasındaki termal arayüz malzemesi (TIM) ve soğuk plaka tasarımı. Her katman termal direnci artırdıkça, çip sıcaklığı yükselir ve genel token geliri azalır. Bu bağlamda, rapora göre termal direnç önemli bir sorun haline gelmektedir.
Frore, Rubin paketinin 'delidding' (yani üstündeki ısı dağıtıcıyı ve TIM'i kaldırma) işleminin termal direnci önemli ölçüde düşürdüğünü iddia ediyor (bu açık olsa da, raporun analitik termal modele dayandığını belirtmek gerekir). Rapora göre, entegre bir ısı dağıtıcıya (IHS) sahip bir pakete kıyasla, IHS'siz bir Rubin paketi birleşim sıcaklığını 20°C'ye kadar düşürebilir, bu da token/Watt başına %35'e varan bir iyileşme potansiyeli sunar. Elbette, delidding yapılan GPU'ların mekanik dayanıklılığının düşmesi gibi dezavantajları da vardır. Frore'ye göre, bu risklere rağmen bazı bulut sistem sağlayıcıları, token gelirlerini artırmak için delidding yapılan Rubin GPU'larının kullanımını araştırıyor.
Frore'nin asıl katkısı ise kendi geliştirdiği soğuk plakadır. Geleneksel soğuk plakalar genellikle bakır bloğun içine uzun, düz mikro kanallar oluşturan bir talaşlı imalat süreci olan 'skiving' ile üretilir. Frore ise bunun yerine, hızlandırıcı silikonundaki sıcak noktaları hedefleyen karmaşık üç boyutlu bakır mikro yapılar oluşturmak için yarı iletken üretim tekniklerinden yararlanır: aşındırma (etching) ve yapıştırma (bonding). Frore'ye göre bu benzersiz mikro yapılar, geleneksel talaşlı imalatla en azından maliyet etkin bir şekilde üretilemez.
Verimliliği Artırma
LiquidJet tasarımı, sıcak noktaların etrafına yerleştirilmiş kısa mikro kanallar, çoklu soğutma aşamaları ve GPU'nun güç yoğunluğu haritası için optimize edilmiş akış yönlendirmesi özelliklerini taşır. Şirketin analizlerine göre bu tasarım, Nvidia Rubin GPU'su için birleşim sıcaklığında 6°C ila 12°C düşüş sağlıyor ve token/Watt başına %10 ila %25 arasında bir iyileşme sunuyor*. Dolayısıyla, yaklaşık 10°C'lik bir sıcaklık düşüşü, raporun belirttiği gibi yaklaşık %15'lik bir token üretim verimliliği artışına karşılık geliyor.
Frore, geliştirilmiş soğuk plaka verimliliğinin tesis soğutmasının ekonomisini değiştirdiğini savunuyor ki bu, büyük veri merkezlerinin (hyperscalers) en önemli endişelerinden biridir. Nvidia, Rubin'i 45°C'ye kadar giriş soğutucu akışkanıyla çalışacak şekilde tasarladı. Bu, birçok YZ veri merkezinin mekanik soğutuculara (chiller) ihtiyaç duymadan tamamen 'ücretsiz' soğutmaya güvenmesini sağlıyor. Giriş sıcaklığını düşürmek GPU verimliliğini daha da artırsa da, bu yalnızca soğutucuların tükettiği enerjinin, elde edilen ek token geliriyle telafi edilmesi durumunda ekonomik anlamlı hale gelir. Bu sırada, LiquidJet aynı birleşim sıcaklığını korumak için daha düşük soğutucu akışkan debisi gerektirdiğinden, ek soğutma için gereken soğutucu performans katsayısını (COP) da azaltır.
Frore'nin örneğinde, geleneksel skived soğuk plakaya sahip bir Rubin GPU, daha soğuk soğutucunun net bir verimlilik faydası sağlamasından önce yaklaşık 6.7'lik bir soğutucu COP'si gerektirirken, LiquidJet bu kırılma noktasındaki COP'yi yaklaşık 4.1'e düşürüyor. Bu da mekanik soğutmayı çeşitli dağıtımlarda ekonomik olarak cazip hale getiriyor.
Frore'nin analizindeki ilginç bir nokta ise, LiquidJet'in Rubin veri merkezi GPU'larında, daha yüksek transistör yoğunluğu nedeniyle Blackwell veri merkezi GPU'larına kıyasla daha verimli olmasıdır.
Frore'nin analizi sadece kendi soğutma sistemlerinin avantajlarını incelemekle kalmıyor; şirketin analitik termal modeli, geliştirilmiş soğutma ve/veya azaltılmış termal direncin sıcaklıkları ve dolayısıyla token gelirini nasıl etkileyebileceği gibi diğer yolları da kapsıyor.
Frore'nin en dikkat çekici iddialarından biri, Nvidia'nın yaklaşan Rubin'iyle ilgili olarak, GPU paketini delidding yapmanın (IHS'yi ve die ile kapak arasındaki grafen TIM'i kaldırma) termal direnci dramatik şekilde azalttığı ve bunun da Frore'nin kullandığı modele göre, IHS'li normal GPU'lara kıyasla birleşim sıcaklığını 20°C'ye kadar düşürerek token/Watt başına %35'e kadar iyileşme sağladığı yönündedir.
Bu arada, delidding yapılan GPU'larda mekanik dayanıklılık önemli bir endişe haline geliyor. IHS olmadan, TSMC'nin CoWoS-L teknolojisiyle paketlenmiş çıplak Rubin GPU, iki Rubin die'ını birbirine bağlayan köprülerin çatlamasına karşı önemli ölçüde daha savunmasız hale gelir. Hatta Hopper döneminde bile bazı GPU'lar belirli sıvı soğutucularla çatladı. Dahası, birden fazla açık die üzerinde homojen temas basıncını korumak, monolitik işlemcilere kıyasla önemli ölçüde daha zordur. Bununla birlikte, token gelirlerini ve para çıktısını artırmak için delidding yapılan Rubin GPU'larını araştıran büyük veri merkezi sağlayıcıları bulunmaktadır.
Termal arayüz malzemeleri de eşit derecede önemli bir rol oynar. Varsayılan olarak, Nvidia'nın Rubin'inin, altın kaplama temas yüzeylerine sahip sıvı indiyum metal TIM kullanarak kapaklı bir paketin termal cezasını ele aldığı bildiriliyor. Frore, delidding yapılmış bir paketin PTM7950 gibi yüksek performanslı bir faz değişim malzemesiyle eşleştirildiğinde bile, sıvı metal kullanan kapaklı bir paketten daha düşük genel termal dirence sahip olduğunu ve Frore'nin modeline göre 14°C'ye kadar bir birleşim sıcaklığı avantajı ve token/Watt başına %28'e varan bir artış sağladığını savunuyor.
Özet
Frore'nin teknik raporunun ana fikri, daha düşük GPU birleşim sıcaklıklarının 'sadece' aşırı ısınmayı önlemek yerine, YZ veri merkezi karlılığının kilit belirleyicisi haline gelmesidir. Bu da token üretim verimliliğini artırır.
Analitik bir termal modele dayanan raporda şirket, LiquidJet soğuk plakasının Nvidia Rubin birleşim sıcaklıklarını 6°C ila 12°C düşürebileceğini ve token/Watt başına %10 ila %25 artırabileceğini, 10°C'lik bir düşüşün ise token üretimini yaklaşık %15 artırabileceğini iddia ediyor.
Ek olarak şirket, daha verimli soğuk plakaların, soğutma güç tüketimini telafi etmek için gereken kırılma noktasındaki soğutucu verimliliğini düşürerek, mekanik soğutmayı daha geniş bir YZ veri merkezi yelpazesinde ekonomik olarak uygulanabilir hale getirdiğini savunuyor.
Son olarak Frore, Rubin'i delidding yapmanın ve termal arayüz malzemelerini optimize etmenin termal direnci daha da azaltabileceğini ve token/Watt başına %35'e kadar iyileşme sağlayabileceğini, ancak bunun bu hızlandırıcılar için daha büyük bir mekanik risk maliyetine katlanarak gerçekleşeceğini belirtiyor.
*Frore'nin analizinin deneysel sonuçlar yerine analitik bir termal modele dayandığı unutulmamalıdır. Rapor, termal direnç denklemi (Tj = Tinlet + Q × Rtotal), Nvidia'nın Rubin GPU'su için yayınlanmış veya varsayılan işletim parametreleri ve şirketin farklı soğuk plaka tasarımlarının termal direnci nasıl etkilediğine dair kendi tahminleri üzerine kuruludur.
