Yapay zeka alanındaki hızlı gelişmeler ve büyük dil modellerinin (LLM) popülerliği, güçlü GPU'lara olan talebi artırdı. Bu durum, yüksek VRAM'e sahip ekran kartlarının fiyatlarını adeta uçurdu. Ancak, teknoloji meraklıları, daha eski ancak hala yetenekli donanımları akıllıca modifiye ederek uygun fiyatlara güçlü yapay zeka sistemleri kurmanın yollarını arıyor. İşte bu noktada, bir YouTuber'ın sunucu tipi Nvidia Tesla V100 GPU'sunu standart bir PCIe kartına dönüştürerek yakaladığı fiyat-performans başarısı dikkat çekiyor.
Modifiye edilen sistemin kalbinde, genellikle veri merkezlerinde kullanılan ve SMX2 soketiyle çalışan bir Nvidia Tesla V100 bulunuyor. Bu GPU, CPU'lardaki soketli yapıya benzer şekilde özel bir anakarta düz olarak monte ediliyor ve vidalarla sabitleniyor. Yapılan projede, bu sunucu GPU'su ve ona uygun SMX-PCIe x16 adaptörü toplamda yaklaşık 200 dolar gibi şaşırtıcı bir maliyetle elde edilmiş. V100, Turing mimarisine dayanıyor ve 16 GB veya 32 GB HBM2 bellek seçenekleriyle geliyor. Projede kullanılan 16 GB'lık versiyon, 900 GB/s bant genişliği sunuyor.
PCIe adaptör kartının kendi soğutma sistemi olmaması nedeniyle, YouTuber özel olarak tasarladığı ve 3D yazıcı ile ürettiği bir fan kanalı hazırlamış. Bu kanala, GPU'yu taze hava ile beslemek üzere 80mm'lik bir fan monte edilmiş. Adaptörde güç için iki adet 8-pin PCIe güç bağlantısı ve üç adet 4-pin PWM başlığı bulunuyor. Ancak, bu adaptörde NVLink için ikinci bir SMX soketi yer almıyor.
GPU modifiye edildikten ve standart bir anakarta takıldıktan sonra yapay zeka testlerine başlanmış. Tesla V100'ün herhangi bir görüntü çıkışı bulunmadığı için bilgisayarın kullanılabilmesi için CPU'da entegre grafik birimi olması gerekiyor. Ollama üzerinde 'gpt-oss-20b' modelini çalıştıran V100, saniyede 130 token üretebilmiş. Karşılaştırma yapılan güncel bir Radeon RX 7800 XT ise aynı testte saniyede yaklaşık 90 token üretebilmiş. Her iki kartın da 16 GB VRAM'e sahip olmasına rağmen, daha yeni ve verimli olduğu düşünülen RX 7800 XT'nin bu testte geride kalması dikkat çekici.
Daha net bir karşılaştırma yapmak adına, RTX 3060 12 GB ekran kartı ile yapılan testlerde V100, 'gemma4: e4b' modelinde saniyede 108 token üretirken, RTX 3060 12 GB ise 76 token üretebilmiş. Bu noktada RTX 3060 daha az güç tüketmiş (V100: 293W, RTX 3060: 235W). Ancak, token başına watt verimliliğine bakıldığında V100'ün 0.37 token/s/watt ile, 0.33 token/s/watt ile RTX 3060'tan biraz daha verimli olduğu görülmüş.
GPU'nun gücü 100W ile sınırlandırıldığında ise, aynı testte güç tüketimi 170W'a düşerken saniyede 95 token üretmeye devam etmiş. Bu karşılaştırmayı daha adil hale getirmek için RTX 3060 da 100W'a sınırlandırıldığında 171W tüketimle sadece 68 token üretebilmiş. Bu sonuçlarla V100, 0.55 token/s/watt ile RTX 3060 12 GB'ın 0.39 token/s/watt'lık verimliliğini geride bırakmış.
V100'ün genel verimlilikte oldukça başarılı olmasına rağmen, boşta bekleme gücü tüketimi önemli bir dezavantaj olarak öne çıkıyor. Boşta 45W tüketirken, RTX 3060'ın 35W ile daha tutumlu olduğu görülmüş. Ayrıca, Frigate NVR testi de V100 üzerinde RTX 3060'tan daha iyi performans göstermiş, ancak beklendiği gibi daha fazla güç tüketmiş.
Bu modifiye V100 deneyi genel olarak başarıyla sonuçlanmış gibi görünüyor. Eski nesil bir donanımın, doğru modifikasyonlarla günümüzün yapay zeka ihtiyaçlarına cevap verebilecek seviyeye getirilebilmesi, teknoloji meraklıları için ilham verici. Ancak, bu tür projelerin popülerleşmesi, ilgili donanımların fiyatlarını artırma potansiyeli taşıyor. Bu nedenle, benzer projelerle ilgilenenlerin hızlı davranması öneriliyor.
