Yeni nesil ekran kartları yapay zeka (YZ) iş yükleri için büyük ölçüde optimize edilirken, 8 yıl önce piyasaya sürülen ve günümüzde yaklaşık 100 dolara mal olan NVIDIA V100 gibi eski kartların büyük dil modellerinde (LLM) güncel kartları geride bırakması şaşırtıcı bir gelişme.
NVIDIA'nın Volta mimarisi, standart tüketici oyun segmentinde bulunmayan, tamamen veri merkezlerine odaklanan ilk seriydi. Volta, Tensor Core mimarisini tanıtan ilk aileydi ve bu mimari, şirketin YZ alanındaki ilerlemelerinin temel taşı haline geldi. Tensor Core mimarisi, YZ görevlerini yerine getirmek üzere tasarlanmış olup, Volta ailesinden bu yana büyük bir evrim geçirdi. Ancak, yapılan bir test, 8 yıllık V100 GPU'sunun günümüz YZ LLM'lerindeki performansını ortaya koydu.
NVIDIA Tesla V100 GPU'nun özelliklerine kısaca değinelim. Tesla V100, SXM ve PCIe olmak üzere iki farklı form faktöründe mevcuttu. SXM modelleri, doğrudan güç ve NVLink yönlendirmesine olanak tanıyan bir ara konektör kullanarak öncelikli olarak veri merkezlerinde kullanıldı.
Test edilen V100, 5120 çekirdek, 320 TMU, 128 ROP ve 640 Tensor Core'a sahip bir SXM2 modelidir. 6 MB L2 önbellek, 1530 MHz'e kadar saat hızı ve 4096-bit genişliğindeki bir arayüz üzerinden 16 veya 32 GB HBM2 bellek ile gelen bu kart, 898 GB/s bellek bant genişliği sunuyordu. GPU'nun 250W TDP değeri, günümüzdeki 1kW'ı aşan yeni modellerle kıyaslandığında oldukça düşük kalıyor.
O dönemde NVIDIA Tesla V100, 10.000 ABD Doları'nın üzerinde bir fiyata satılıyordu. Ancak günümüzde, 16 GB'lık versiyonu sadece 100 ABD Doları civarında bir fiyata bulunabiliyor.
GPU'nun asıl sorunu fiyatı değil, standart bir bilgisayar ile uyumluluğudur. SXM2 standartlarını hiçbir bilgisayar desteklemiyor. Bu durum, kendine ait özel 2x8-pin güç bağlantı yapılandırması ve üç adet 4-pin fan başlığı ile gelen bir SXM'den PCIe'ye adaptöre ihtiyaç duyulmasına neden oluyor.
Diğer bir engel ise soğutma çözümüdür. NVIDIA Tesla serisi, büyük ölçekli veri merkezleri için tasarlanmış olup, büyük bir soğutucu blok ile pasif olarak çalışır. GPU üzerindeki soğutucu ve arka plaka yüksek kalitededir, ancak standart bilgisayarlar içinde 7/24 çalışmayı sürdüremez. Bu durum, yapılan testlerde kendi soğutucu kanalını tasarlamayı ve soğutucuya doğrudan hava akışı sağlayan tek bir fan kullanmayı gerektirdi.
GPU ve ek parçaların toplam maliyeti 200 ABD Doları'nın biraz üzerine çıktı. Bu rakam, karşılaştırma için kullanılan RTX 3060 12 GB ve RX 7800 XT 16 GB gibi modellere göre hala daha düşüktür.
Testlerde kullanılan ilk YZ LLM, 20 milyar parametreli GPT-oss oldu. Bu testte, NVIDIA V100 sistemi yaklaşık 130 Token/s hızına ulaşırken, RX 7800 XT sadece 90 Token/s hızında kaldı.
Yaklaşık 5 yıllık NVIDIA GeForce RTX 3060 12 GB ile karşılaştırıldığında, NVIDIA V100, token üretim hızında Gemma4:e4b (ollama+openwebui) testinde %42 daha hızlıydı. Daha da etkileyici olan, 8 yıllık GPU'nun güç verimliliğidir; daha yüksek güç tüketimine sahip olmasına rağmen, yeni Ampere tabanlı GPU'ya göre %12 daha verimliydi.
GPU, 100W güç limitiyle de test edildi ve burada da token/saniye/watt testlerinde %41'lik bir avantajla RTX 3060'ı geride bıraktı.
Bu sonuçlar, eski ekran kartlarının YZ LLM'ler için hala geçerli olduğunu, harika bir değer ve verimlilik sunduğunu kanıtlasa da, kişisel modifikasyonlar gerektirebileceğini göstermektedir. 32 GB'lık modelin maliyeti 400-500 ABD Doları civarında olsa da, ek bellek kapasitesi daha büyük YZ LLM'lerde daha fazla yardımcı olabilir. Bu bağlamda, gelecekte ek testlerin yapılacağı belirtiliyor.
