NVIDIA'nın son teknoloji fuarı GTC'de beklenen Rubin CPX çipinin tanıtılmaması, teknoloji dünyasında soru işaretlerine yol açtı. Yeni alınan bilgilere göre, bu çip şu anda 'ertelenmiş' durumda ve gelecekte Feynman ile tekrar karşımıza çıkması bekleniyor. Bu arada, Groq'un LPUs (Language Processing Units - Dil İşlem Birimleri) çıkarım (inference) süreçlerindeki boşluğu dolduracak.
NVIDIA'nın CPX Çipi Feynman ile Yer Alacak, Groq Çıkarım Boşluğunu Dolduruyor
NVIDIA, yapay zeka modellerinin çıktısını almayı (çıkarım) optimize etmek için özel çip çözümleri üzerinde çalışıyor. Geçen yılın son çeyreğinde ASIC'lerin (Uygulamaya Özel Entegre Devre) popülerleşmesiyle bu alana odaklanan NVIDIA'nın önemli projelerinden biri de Rubin CPX çipiydi. Bu çip, GDDR7 belleği içeren ilk raf tipi çıkarım çözümlerinden biri olmayı hedefliyordu. Ancak, bu yılki GTC'de Rubin CPX'in tanıtılmaması, iptal edildiği veya ertelendiği yönündeki spekülasyonları güçlendirdi. NVIDIA Başkan Yardımcısı Ian Buck'tan gelen güncellemeler ise bu durumu netleştirdi.
Buck'ın yol haritasına ilişkin açıklamalarına göre, Rubin CPX projesi ileri bir tarihe ertelenmiş olsa da, fikir tamamen rafa kaldırılmış değil. Benzer bir çözümün, birkaç yıl sonra gelmesi planlanan Feynman platformu ile piyasaya sürülmesi öngörülüyor. Yapılan analizler, çıkarım iş yüklerindeki taleplerin uzun bağlamlardan (long-context) 'anında yanıt' (time-to-first-token - TTFT) önceliğine doğru evrildiğini gösteriyor. Bu evrim, NVIDIA'nın Rubin LPX platformunu daha da önemli hale getiriyor. Groq'un LPU birimlerini barındıran Rubin LPX, çıkarım iş yüklerinin ayrıştırılma (decode) aşamasına odaklanıyor.
NVIDIA, Groq ile yaptığı iş birliğinden elde ettiği sonuçlardan oldukça memnun görünüyor ve çıkarım performansında etkileyici sonuçlar elde etmeyi hedefliyor. LPU'ların SRAM tabanlı mimarisi sayesinde, bireysel bant genişliği 150 TB/s'ye kadar çıkabiliyor. Raf geneli ise 640 TB/s ölçeklenebilir bant genişliği sunuyor. Bu etkileyici performans, NVIDIA'nın Rubin CPX yerine LPX platformunu tercih etmesindeki temel nedenlerden biri olarak öne çıkıyor. Hatta, NVIDIA'nın CPX tasarımını revize ederek GDDR7 yerine HBM bellek kullanmayı düşündüğüne dair raporlar da bulunuyor. Bu da, Feynman ile gelecek CPX'in Rubin sürümünden farklı olacağını gösteriyor.
NVIDIA'nın kendi ifadesiyle "çıkarım kralı" konumunu koruma stratejisinin bir parçası olarak Groq çözümleri kritik bir rol oynuyor. Rubin CPX'in iptali veya ertelenmesi, yapay zeka çipleri için ayrılacak GDDR7 kapasitesinin başka alanlara kaydırılması anlamına da geliyor. Bu durum, oyun tutkunları için olumlu bir gelişme olarak değerlendirilebilir.
