NVIDIA ve CoreWeave, en hızlı yapay zeka platformu olan Vera Rubin NVL72'yi bulut hizmeti olarak kullanıma sundu. Bu yeni platform, özellikle ajan yapay zeka (agentic AI) iş akışlarını hızlandırmak için geliştirildi.
CoreWeave, NVIDIA Vera Rubin Platformunu Tam Kapasite Kullanıma Aldı: Ajan Yapay Zekayı Hızlandıracak Token Üretiminde Artış
Yapay zeka alanında önemli gelişmeler yaşanıyor. NVIDIA ve CoreWeave iş birliğiyle, daha önce görülmemiş bir performans artışı vaat eden NVIDIA Vera Rubin NVL72 platformu CoreWeave Bulut'ta tam kapasite kullanıma açıldı. Bu yeni platform, önceki nesil Blackwell sunucularına kıyasla önemli bir hızlanma sunarak, müşterilerin haftalar süren işlemlerini günlere indirebilecek.
- İlk yazılım mühendisliği çıkarım testlerinde, önceki nesil GB200 NVL72'ye kıyasla toplam token üretiminde 4.8 kata kadar daha yüksek performans elde edildi.
- Cognition'ın yapay zeka yazılım mühendisi Devin için daha hızlı kod üretimi ve daha duyarlı çok adımlı akıl yürütme yetenekleri sunuluyor.
Cognition, bu en yeni sunucu kurulumlarından yararlanan ilk firma oldu ve dokuz ay gibi kısa bir sürede binlerce GPU'yu ölçeklendirmeyi başardı. Eylül ayında yapılan ilk testlerde, Cognition'ın Vera Rubin'i Grace Blackwell ile karşılaştırması, yazılım mühendisliği çıkarım iş yüklerinde toplam token üretiminde 4.8 katlık bir artış kaydetti.
Cognition, CoreWeave'in Vera Rubin kurulumundan faydalanacak birçok ortaktan sadece biri. Şirket, erken erişim müşterilerine NVIDIA'nın tam yığın yapay zeka üretim platformunun performansını CoreWeave Bulut'ta hızla kullanma imkanı sunuyor.
CoreWeave, Cognition için sadece birkaç gün içinde üretim ortamına uygun bir Vera Rubin kümesi kurdu. Bu başarı, altyapıdan token üretimine kadar tüm katmanlarda NVIDIA ve CoreWeave arasındaki yakın tasarım ve iş birliğinin bir sonucu.
Vera Rubin NVL72 sunucularının bulut üzerinden sunulmasının yanı sıra, CoreWeave Vera CPU'yu da bulut hizmetlerine dahil ediyor. Ajan yapay zeka iş akışlarının temelini oluşturan CPU'lar, Vera'nın bu alana özel tasarımıyla büyük bir potansiyel sergiliyor. Örneğin, ajan simülasyonlarının başlangıç sürelerinde 3 kat daha hızlı performans gösteriyor.
Şu anda tek bir rafta 128 Vera CPU veya 11.264 çekirdek bulunan CoreWeave, aynı anda 11.000'den fazla ortamı yönetebiliyor. Terminal-Bench testlerinde, aynı Vera işlemcileri tüm görevlerde ortalama 1.7 kat daha iyi performans sergiledi.
CoreWeave, 3 yıllık yapay zeka konuşlandırmalarında, bulut sağlayıcılara kıyasla daha düşük toplam maliyet sunuyor:
- NVIDIA HGX B200'de %41'e varan daha düşük maliyet
- NVIDIA GB200 NVL72'de %65'e varan daha düşük maliyet
- NVIDIA HGX B300'de %52'ye varan daha düşük maliyet
NVIDIA'nın Vera Rubin ve Vera platformlarının yanı sıra, CoreWeave CoreWeave Forge'u da duyurdu. Bu yeni platform, sürekli model ve ajan iyileştirmeleri için tasarlanmış tek bir bağlantılı ortamda Weights & Biases, OpenPipe'ın eğitim sonrası uzmanlığı ve açık kaynaklı marimo notebook projesini bir araya getiriyor. Öne çıkan özellikler şunlar:
- CoreWeave ARIA: Kullanıcıların yapay zeka döngüsünde öğrenme, araştırma, kodlama ve yineleme yapmasına yardımcı oluyor. Çalışmaları analiz ediyor, deney önerileri sunuyor, GitHub'a kod değişiklikleri kaydediyor ve deney verilerini analiz edip değişikliklerin nedenlerini ortaya koyarak bir sonraki deneyleri öneriyor.
- CoreWeave Agent Lens: Yeni bir hizmet olan bu özellik, üretim ortamındaki ajan gözlemlerini sürekli iyileştirmeye ve anlaşılır içgörülere dönüştürüyor. Hata tespitini %20 iyileştiriyor ve sorunları yarı maliyetle çözüyor.
- CoreWeave Sandboxes: Kullanıcıların ajanları, araç çağrılarını, RL ve değerlendirmeleri izole edilmiş CPU veya GPU yürütme ortamlarında çalıştırmasına olanak tanıyor. Her ajan araç çağrısı, RL çalışması veya değerlendirmesi için taze, izole bir ortam sağlıyor.
- Eğitim sonrası, kullanıcıların kendi üretim sinyallerini kullanarak model kalitesini artırıyor, gecikme süresini ve maliyetleri düşürüyor. Sunucusuz denetimli ince ayar ve sunucusuz RL, kullanıcıların kendi eğitim reçeteleriyle deneyler yapmasına olanak tanıyor. Sunucusuz RL, kendi kendine yönetilen bir kuruluma göre 1.4 kat daha hızlı ve %40 daha düşük maliyetle eğitim sağlıyor.
MLPerf benchmark'larında rekor performans elde etmekten, gerçek dünya kullanım senaryolarında rekor dağıtım sürelerine ulaşmaya kadar, NVIDIA'nın Vera Rubin platformu, teknoloji endüstrisinde yapay zeka için yeni bir dönemi başlattı. Bu gelişmeler, NVIDIA ve yapay zeka endüstrisini ileriye taşıyan Aşırı Tasarım Stratejisi ile mümkün oldu.
