Evde 235 milyar parametreli büyük dil modellerini çalıştırmak isterken, bütçeniz sadece 70 milyar parametreli modelleri kaldırabilecek tüketici sınıfı ekran kartlarıyla sınırlı mı kalıyor? Geliştirici David Noel Ng'nin durumu tam da böyleydi. Ancak Reddit'te karşılaştığı, "açıkça sahte" görünen bir Nvidia Grace-Hopper platformu, Ng'nin hayatını değiştirdi. Ng bu riski aldı ve kendi blog yazısında belirttiği gibi, bu risk ona fazlasıyla ödül getirdi. Biraz uğraş ve tamirle, normalde yaklaşık 80 bin dolar değerinde olan kurumsal sınıf bir sistemi, bunun onda biri fiyata mal ederek çalışır hale getirdi. Dahası, sistemdeki 960 GB DDR5X bellek, Ng'nin tüm sistem için ödediği fiyattan daha değerli hale geldi. Hatta Reddit'teki orijinal ilan 10 bin Euro iken, Ng'nin satıcıya teklif ettiği 7 bin Euro ile pazarlık gücünü de kullandığı görülüyor.
Neden Ng 'Açıkça Sahte' İlana Teklif Verdi?
Ng'nin yaptığı anlaşma, ilk bakışta gerçek olamayacak kadar iyi görünüyordu. Ancak satıcıyı araştıran Ng, satıcının iki saat mesafede bulunan güvenilir bir sunucu ekipmanı satıcısı olduğunu tespit etti. Bu nedenle de ilk sırayı kapmak için hızlıca bir teklif sundu.
Satıldığı haliyle Grace Hopper sisteminin bazı küçük ama aşılması imkansız olmayan sorunları vardı. Bu sorunlar, sistemin tüketici pazarlarında yaygın olarak rağbet görmesini engelliyordu. Özellikle, sıvı soğutmadan hava soğutmaya dönüştürülmüş bir "Frankensystem" idi. Ayrıca biraz dağınık görünüyordu, rafa monte edilemiyordu ve 48V güç kaynağıyla çalışıyordu.
Öte yandan, bu sadece bir parça topluluğu olsa bile, teklif karşı konulmazdı. Satıldığı haliyle sistemin özellikleri şunlardı:
- 2x Nvidia Grace-Hopper Süperçip
- 2x 72 çekirdekli Nvidia Grace CPU
- 2x Nvidia Hopper H100 Tensor Çekirdekli GPU
- 2x 480 GB LPDDR5X bellek (ECC özellikli)
- 2x 96 GB HBM3 bellek
- Toplam 1.152 GB yüksek hızlı bellek
- 900 GB/s bant genişliğine sahip NVLink-C2C
- 1000W ila 2000W TDP (CPU + GPU + bellek) arasında programlanabilir
- 1x Yüksek verimli 3000W PSU (230V'dan 48V'a)
- Anakart üzerinde 2x PCIe Gen4 M.2 22110/2280 yuvası
- 4x FHFL PCIe Gen5 x16 yuvası
Doğal olarak, sistemin 80 bin dolarlık değeri muhtemelen oldukça mütevazı bir tahmin. Ng, iki adet H100 çipinin tek başına "her biri yaklaşık 30-40 bin Euro" olduğunu belirtiyor.
'Frankensystem'i Çalışır Hale Getirmek
Ng'nin blog yazısının önemli bir bölümü, "Frankensystem"i teslim alma, temizleme ve yeni bir soğutma sistemi inşa etme sürecine ayrılmış. Bu kısım oldukça ilgi çekici bir okuma sunuyor. Kısacası, muazzam potansiyele sahip Nvidia Hopper sistemi, tozlu, son derece gürültülü ve çok ısınan bir makine olarak alındı. Ng eve götürmeden önce de durumu buydu.
Özenli ve sabırlı bir çalışmayla, beş litre izopropil alkol, dört adet yeniden amaçlandırılmış ucuz Arctic AiO sıvı soğutucu, özel CNC ile işlenmiş bakır parçalar, yaklaşık bir kilo 3D baskılı parça, mikroskop yardımıyla lehimleme, bir LED aydınlatma şeridi ve biraz da teknik bilgi ile Ng sonunda zafere ulaştı. Yeniden birleştirilmiş, tamamlanmış Grace Hopper sistemini yukarıdaki görselde görebilirsiniz.
Bellek Altın Madeni
Ng, tamamlanan sistemden ve yapay zeka performansından son derece memnun görünüyor. Artık "tek bir H100 maliyetinden daha azına evde 235 milyar parametreli modelleri çalıştırabildiğini" belirtiyor. Ancak tatlı bir sürpriz daha var: sistemi satın aldığından beri bellek fiyatları "çılgınca arttı". Bu durum, sistemdeki 960 GB DDR5X belleğin, Ng'nin tüm sistem için ödediği miktardan daha pahalı hale geldiği anlamına geliyor.
